WO2004059380A1

WO2004059380A1 - ブレ補正カメラシステム

Info

Publication number: WO2004059380A1
Application number: PCT/JP2003/016809
Authority: WO
Inventors: Hiroyuki Tomita; Kazutoshi Usui; Kenichi Kitano; Yoshiko Ono
Original assignee: Nikon Corporation
Priority date: 2002-12-25
Filing date: 2003-12-25
Publication date: 2004-07-15
Also published as: US7711253B2; AU2003296127A1; US20060110147A1; EP1577705A1; EP1577705B1; EP3404479A1; US20080175574A1; EP1577705A4; US7596307B2

Abstract

　ブレ補正カメラシステムは、角速度センサから得られた振動検出信号に基づいて駆動され、像ブレを補正するブレ補正レンズと、点像分布関数を演算する点像関数演算部と、点像分布関数を用いて、撮像された画像に対して画像処理により画像回復を行い像ブレを補正する画像回復演算部とを備える。ブレ補正レンズでは補正しきれない像ブレを、画像回復によりさらに補正して、より高画質の画像を得る。

Description

明細書ブレ補正カメラシステム本出願は日本国特許出願 2002— 374644号（2002年 1 2月 25日出願）、日本国特許出願 2002— 37466 1号（2002年 1 2月 25日出願）、日本国特許出願 2002— 3 7468 7号（2002年 1 2月 25日出願）、日本国特許出願 200 2— 374704号（2002年 1 2月 25日出願）、日本国特許出願 2002— 374 724号（2002年 1 2月 25日出願）、日本国特許出願 2002— 374748号（2 002年 1 2月 25日出願）、日本国特許出願 2002— 3 74739号（2002年 1 2月 25日出願）、および日本国特許出願 2003— 026098号（2003年 2月 3 日出願）を基礎として、その内容は引用文としてここに組み込まれる。

技術分野

本発明は、カメラ等に適用され、手振れ等による振動を検出して像のブレを補正する技術に関する。背景技術

従来から撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を付けたカメラが知られている。プレを補正する方法として大別して以下に示す 2つの手法がある。

1つ目のブレ補正手法は、角速度センサ、加速度センサなどの振動検出センサにより力メラの振動を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である（例えば、特開昭 6 1— 24078 0号公報)。

2つ目のブレ補正手法は、撮像された画像と一時的にメモリ記憶された前画像との差分からブレ量を求め画像読み出し時にブレ補正する電子式的捕正法である（例えば、特開昭 6 3— 187883号公報）。これら 2つの手法は、いずれも撮影時にブレ補正をリアルタイムで行う方法である。

一方、上述の手法とは別のブレ補正手法であって従来から知られた技術として、劣化画像を手ブレやぼけのない画像に回復する技術が知られている。例えば、特開昭 6 2— 1 2 7 9 7 6号公報には、撮影時のブレによる画像劣化を点像分布関数で表し、この点像分布関数に基づいてブレのない画像に回復する手法が開示されている。また、カメラにブレ検出手段のみを設けて手ブレ情報を記録し、再生時にその情報を用いて画像回復処理を行うことによりブレを補正する技術が知られている（例えば、特開平 6— 2 7 6 5 1 2号公報)。ここで、画像回復処理の具体的方法について説明する。画像回復とは、ブレの情報を利用してブレた画像を処理し、プレの少なレ、画像に回復するものである。

今、（X, y) を画面上の位置座標とし、ブレのない時の画像（以下、元画像）を o (X , y)、ブレによって劣化した画像（以下、ブレ画像）を z (X, y)、ブレによって広がつた点像の情報（以下、点像関数）を P (x, y) とすると、この 3つは、次の関係を満たす。

z( X, y) = o( x, y) * p( , y, ) ひ)

ここで、 *は、コンポリューシヨン（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。

∑(x,y)= ^ a(x,y)p(x-x',y-y'Jdx'dy' (2) これをフーリエ変換して空間周波数（u， V) 領域にすると、式（1 ), ( 2) は、以下の式 (3) のようになる。

Z(u, v)= 0(u, v)-P(u, v) (3)

ここで、 Z (u, v)、 O (u， v)、 P (u, v) は、それぞれ z (x, y)、 o (x, y)、 p (x, y) のスぺクトルである。また、式（3) において、 P (u, v) は、特に空間周波数伝達関数と呼ばれている。

ここで、ブレ画像 z (X , y) に加えて、何らかの方法により点像関数 p (X , y) を知ることができれば、それぞれのスぺクトルを算出し、式 3を変形した以下の式 4を利用することで、元画像のスペクトル〇（u, V) を算出することができる。

Z(u.v)

(u,v) = - (4)

P(u,v) 、 '

式（4) において、 1 ZP (u, V) は、特に逆フィルタと呼ばれている。式 4により算出したスペクトルを逆フーリエ変換すれば、元画像 o (x， y) を求めることができる。図 6 (a) 〜（c)，図 7 (a) 〜（d) は、従来の画像回復を説明する図である。

ここでは、簡単のために、ブレは、図 6 (b) に示すように一軸（X軸）方向に一様に発生したものとする。

この点像分布関数の断面をとると、図 7 (a) のようになる。これをフーリエ変換したものが図 7 (b) であり、これが図 6 (a) に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が 0となっているところが何力所かある点である。これを逆フィルタにすると図 7 (c) に示すように、無限大となってしまうところが存在する。これを式（4)に適用すると、ある特定の空間周波数に関しては、以下に示す式（5) のようになってしまい、元画像のスぺクトル値は不定となる。

Z(u,v) 0

^ ^ =不定（⁵)

伝達関数が 0であるということは、ブレによって伝達されない（=情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。

なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。 c ··定数（6)

図 7 (d) は、ウィナーフィルタをグラフにしたものである。

ウィナーフィルタにすることにより、式（5) のように〇（u， v) が不定となるところはなくなる。

しかしながら、上述した従来の光学式ブレ補正及び画像回復には、以下に示す問題があつた。

<光学式ブレ補正の問題 >

光学式ブレ補正では、振動を検出するセンサとして一般に角速度センサが用いられている。角速度センサから検出された角速度を角度に変換するためには動作時のセンサ静止時の出力値（基準値）が必要であり、この基準値は、温度によるドリフトの影響を受けやすいことが知られている。この問題について図 8 (a), (b) を参照して詳しく説明する。図 8 (a) (b) は、ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのプレ量を示す図である。

図 8 (a) は、時間に対する角速度センサ出力値の変化を示したものであり、説明を簡単にするために正弦波で手ブレが生じている場合を想定している。図 8 (a) において、波形 e Oは、正弦波で手ブレが生じている時のブレセンサの出力を表している。また、波形 e 1、 e 2は、いずれもローパスフィルタで演算された基準値であり、波形 e 1の遮断周波数は、波形 e 2よりも低く設定されている。図 8 (a) では、出力値が環境条件の影響で時間の経過とともに振動中心がずれていき、ドリフトしている。

図 8 (b) は、図 8 (a) の角速度センサ出力と基準値とを利用してブレ捕正した時の像面プレ量を示したものである。図 8 (b) 中の波形 f O, f 1， f 2は、それぞれ図 8 (a) 中の波形 e O, e l, e 2に対応し、波形 f 0は、ブレ補正を全く行わなかったときの像面のプレ量を表している。波形 f 1は、波形 f 2に比較して、低い遮断周波数の基準値 e 1を使用することにより、高い周波数成分はカットされているものの時間経過とともにブレ量が大きくなつてしまっている。逆に波形 f 2は、波形 f 1よりも基準値の遮断周波数が高くなつているため、 f 1よりもドリフトは小さくなつているが、手ぶれによる高周波成分を除くことができていない。

このように、手ブレによる像ブレの除去とドリフトの影響を少なくすることは相反する問題であり、像ブレを十分に補正し、かつ、ドリフトの影響が少なくなるように口一パスフィルタの遮断周波数を設定することが難しい。そのため検出したブレ量には、必ず検出誤差が生じ、光学式ブレ補正を行つても得られる画像にブレが残るという問題があつた。さらに、光学的なブレ補正装置では、ブレ補正動作の ONZOFFを切り替えるスイツチが設けられている場合が多く、その場合、このスィッチを ONにし忘れて撮影時にブレ補正動作しなかったために、像プレをした画像が撮影されてしまうという問題もあった。

<画像回復の問題〉

次に、画像回復の問題について説明する。

従来からブレ画像をウィナーフィルタを用いて回復処理することにより得られた画像は、元画像に比べ解像が向上することは知られている。し力し、 P (u'_; ν') 0となる空間周波数（u'， ν') では、フィルタの値が大きくなるため、画像に含まれるノイズがその空間周波数成分を含む場合、ノイズ成分を増幅してしまう。その結果、画像に不必要な縞模様を生じ画質を低下させてしまうという問題があった。この縞模様は、元のブレが小さければそれほど大きな問題にはならないが、ブレが大きレ、場合に顕著に現れるので問題となるケースが多かった。

また、従来の画像回復処理機能を設けた力メラは、光学的にブレ補正できるものはなく、単に角速度センサなどのブレセンサからの出力データを記録し、再生時にそれらブレ情報に基づいて回復処理するというものであった。そのため、画像のブレが大きくなりすぎると、画像回復処理を行つても前述の縞模様等の影響で画質が改善されないという問題があつた。

さらに、画像回復に必要な点像関数は、角速度センサ出力などの情報に基づいて演算され、その演算結果に基づいて画像回復演算が行われるが、角速度センサから出力されるデータ量が非常に多く、非常に多量の演算を行う必要があり、演算効率が悪く、高速な演算処理部を必要とするとレ、う問題があつた。

さらにまた、点像関数演算や画像回復演算を行わずに画像回復に必要なデータを記録媒体などに記録したり、外部に送信したりする場合であっても、上述のようにデータ量が多いので、大容量の記録媒体が必要であったり、高速な記録手段や高速な通信手段が必要となるなど、実現が困難であったり、コストアップの要因となったりするという問題があつた。発明の開示

本発明は、以下のように構成している。

( 1 ) 本発明によるプレ補正カメラシステムは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備える。点像分布関数を演算する点像分布関数演算部をさらに備え、画像回復演算部は、画像を点像分布関数で処理することにより画像回復を行うことが好ましい。振動検出信号の基準値を演算する基準値演算部をさらに備え、点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算することが好ましい。ブレ補正カメラシステムは、振動検出部と、ブレ補正光学系と、撮像部と、点像分布関数演算部と、基準値演算部と、画像を記録する画像記録部とを備えたカメラと、画像回復演算部を有し、カメラとは別体の装置であって、画像記録部により記録された画像と点像分布関数とを入力することにより画像回復を行う外部装置とを備えることが好ましい。

本発明によるブレ補正力メラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、撮像部により撮像された画像を記録する画像記録部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部とを備える。点像分布関数演算部により演算された点像分布関数を、画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段をさらに備えることが好ましい。振動検出信号の基準値を演算する基準値演算部をさらに備え、点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算することが好ましい。

本発明による画像回復装置は、外部との通信及び/又は媒体を介して画像データ、及び、画像データの撮像時に得られた点像分布関数を受け取るデータ入力部と、画像データに対して点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算部とを備える。

本発明によるコンピュータ読み込み可能なコンピュータプログラム製品は、ブレ捕正用制御プログラムを有し、該制御プログラムは、画像データ、及び、画像データの撮像時に得られた点像分布関数を受け取るデータ入力命令と、画像データに対して点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算命令とを有する。コンピュータプログラム製品は、制御プログラムが記録された記録媒体であることが好ましい。コンピュータプログラム製品は、制御プログラムがデータ信号として embodiedされた carrier waveであってもよレヽ。

( 2 ) 本発明によるブレ補正カメラシステムは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号の基準値を演算する基準値演算部と、振動検出信号及び基準値に基づいて駆動され、像ブレを捕正するブレ補光学系と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、撮像部により撮像された画像に対して点像分布関数で画像処理することにより面像回復を行い、像ブレを補正する画像回復演算部とを備える。点像分布関数演算部による点像分布関数の演算を、基準値を用いて行う力振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部をさらに備えることが好ましレ、。点像分布関数演算切り替え部は、ブレ補正光学系によるブレ捕正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねてもよい。ブレ補正光学系によるブレ補正動作を行う場合には、点像分布関数演算部は、基準値を用いて点像分布関数を演算することが好ましい。ブレ補正光学系によるブレ補正動作を行わない場合には、点像分布関数演算部は、振動検出信号を用いて点像分布関数を演算してもよい。ブレ補正カメラシステムは、振動検出部と、ブレ補正光学系と、撮像部と、点像分布関数演算部と、基準値演算部と、画像を記録する画像記録部とを備えたカメラと、画像回復演算部を有し、カメラとは別体の装置であって、画像記録部により記録された画像と点像分布関数とを入力することにより画像回復を行う外部装置とを備えることが望ましレ、。本発明によるブレ補正力メラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号の基準値を演算する基準値演算部と、振動検出信号及び基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、撮像部により撮像された画像を記録する画像記録部と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部とを備える。点像分布関数演算部により演算された点像分布関数を、画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段をさらに備えることが好ましい。

( 3 ) 本発明によるブレ補正カメラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号の基準値を演算する基準値演算部と、基準値及び振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像回復演算に必要な点像分布関数を基準値に基づいて演算する点像分布関数演算部と、点像分布関数の演算に使用する基準値及び Z又は演算後の点像分布関数の情報量を減少させる情報量減少部とを備える。情報量減少部は、基準値及び Z又は演算後の点像分布関数のデータを間引くことにより、情報量を減少させることが好ましい。情報量減少部は、画像回復演算に必要な情報量を確保するように情報量を減少することが好ましい。

( 4 ) 本発明によるブレ補正カメラシステムは、振動を検出して振動検出信号を出力する振動検出部と、ブレ補正光学系を含む撮影光学系により形成された像を原画像として撮像する撮像部と、原画像を保存する原画像保存部と、画像処理に関するパラメータを変更可能であって、原画像に対してパラメータを用いて画像処理による画像回復を行い、像ブレを補正した回復画像を作成する画像回復演算部と、画像回復演算部における画像処理に用いたパラメータ及び/又は回復画像を、原画像に関連付けて保存する回復結果保存部とを備える。点像分布関数を演算する点像分布関数演算部をさらに備え、画像回復演算部は、画像を点像分布関数で処理することにより画像回復を行い、パラメータは、点像分布関数を含むことが好ましい。回復結果保存部は、複数組の回復画像に対応した複数のパラメ一タ及び Z又は複数の回復画像を保存可能であることが好ましい。ブレ補正力メラしすてむは、振動検出部と、振動検出信号に基づいて駆動され像ブレを補正する前記ブレ補正光学系と、撮像部と、点像分布関数演算部と、振動検出信号の基準値を演算する基準値演算部と、原画像保存部とを備えたカメラと、画像回復演算部及び回復結果保存部を有し、カメラとは別体の装置であって、原画像保存部により記録された原画像と点像分布関数とを入力することにより画像回復を行う外部装置とを備えることが好ましい。 ' 本発明による画像回復装置は、外部との通信及び Z又は媒体を介して原画像データ、及び、原画像データの撮像時に得られた点像分布関数を受け取るデータ入力部と、画像処理に関するパラメータを変更可能であって、原画像データに対して点像分布関数を含むパラメータを用!/、て画像処理による画像回復を行い、像ブレを補正した回復画像を作成する画像回復演算部と、画像回復演算部における画像処理に用いたパラメータ及び Z又は回復画像を、原画像に関連付けて保存する回復結果保存部とを備える。

本発明によるコンピュータ読み込み可能なコンピュータプログラム製品は、プレネ翁正用制御プログラムを有し、該制御プログラムは、原画像データ、及び、原画像データの撮像時に得られた点像分布関数を受け取るデータ入力命令と、画像処理に関するパラメータを変更可能であって、原画像データに対して点像分布関数を含むパラメータを用いて画像処理による画像回復を行レヽ像ブレを補正した回復画像を作成する画像回復演算命令と、画像回復演算手順における画像処理に用いたパラメータ及ぴ z又は回復画像を、原画像データに関連付けて保存する回復結果保存命令とを有する。コンピュータプログラム製品は、制御プログラムが記録された記録媒体であることが好ましい。コンピュータプログラム製品は、制御プログラムがデータ信号として embodiedされた carrier waveであってもよい。

( 5 ) 本発明によるブレ補正カメラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学的ブレ補正手段と、像ブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、画像回復によりブレ捕正を行う又は画像回復によりブレ補正を行うための準備を行う画像回復モードを行うことの適否を判断する画像回復判断部とを備える。画像回復判断部は、振動検出信号に基づいて画像回復モードを行うことの適否を判断することが好ましい。画像回復判断部は、シャツタ速度に基づいて画像回復モードを行うことの適否を判断してもよい。画像回復判断部は、撮影光学系の焦点距離に基づいて画像回復モードを行うことの適否を判断してもよレ、。画像回復判断部は、点像分布関数に基づいて画像回復モードを行うことの適否を判断してもよレ、。画像回復判断部が画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段をさらに備えてもよい。画像回復判断部が画像回復モードを行うことが不適であると判断したときは、画像回復モードを実行しなくてもよい。画像回復判断部が画像回復モードを行うことが不適であると判断したときは、点像分布関数を保存しなくてもよレ、。

( 6 ) 本発明によるブレ補正カメラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号の基準値を演算する基準値演算部と、基準値及び振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、振動検出信号及び基準値に基づいてブレ補正光学系の動作を制御する駆動制御部と、画像処理により像のブレをネ甫正する画像回復に必要な点像分布関数を前記基準値に基づレ、て演算する点像分布関数演算部と、ブレ補正光学系を用いてブレ補正を行う光学式ブレ補正動作に加えて、画像回復によりブレ補正を行う又は画像回復によりブレ補正を行うための準備を行う画像回復モードを行うか否かを選択するブレ補正モード選択部とを備え、駆動制御部は、プレ補正モード選択部の選択状態に応じて、ブレ補正光学系の制御内容を変更する。駆動制御部は、ブレ補正モード選択部の選択状態に応じて、基準値の演算方法を変えることにより、ブレ補正光学系の制御内容を変更することが好ましい。準値演算部は、ローパスフィルタを用いて基準値を演算し、駆動制御部は、ローパスフィルタのカットオフ周波数を変更することにより、ブレ補正光学系の制御内容を変更してもよい。駆動制御部は、ブレ補正モード選択部が画像回復を行う選択状態のカツトオフ周波数を、ブレ補正モード選択部が画像回復を行わない選択状態の前記力ットオフ周波数よりも高周波数側に設定することが好ましい。

( 7 ) 本発明によるブレ捕正カメラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学式ブレ補正手段と、光学式ブレ補正手段によって補正しきれないブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、光学式ブレ補正手段を用いたブレ補正を行う光学式ブレ補正モード、及び、画像回復によりブレ補正を行う又は画像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ補正モード選択部とを備え、ブレ補正モード選択部は、画像回復モードを選択するときには、光学式ブレ補正モードも併せて選択する。

本発明によるブレ補正力メラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学式ブレ捕正手段と、光学式ブレ補正手段によつて捕正しきれないブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、光学式ブレ補正手段を用いたブレ補正を行う光学式ブレ補正モード、及び、画像回復によりブレ補正を行う又は面像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ補正モード選択部とを備え、ブレ補正モード選択部は、光学式ブレ補正モードを選択しない状態では、画像回復モードを選択することができない。

本発明によるブレ補正力メラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学式ブレ補正手段と、光学式ブレ補正手段によって補正しきれないブレを画像処理により回復する画像回復に必要な^像分布関数を演算する点像分布関数演算部と、光学式ブレ捕正手段を用いたブレ補正を行う光学式ブレ補正モード、及ぴ、画像回復によりブレ補正を行う又は画像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ補正モード選択部とを備え、ブレ捕正モード選択部は、光学式ブレ補正モードを選択しない状態で、画像回復モードを選択すると、警告を行う。

本発明によるブレ補正カメラは、振動を検出して振動検出信号を出力する振動検出部と、振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学式ブレ補正手段と、光学式ブレ補正手段によって補正しきれないプレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部とを備え、点像分布関数演算部による点像分布関数の演算は、光学式ブレ補正手段を動作させることにより実行可能となる。 ( 8 ) 本発明によるブレ補正カメラシステムは、像ブレを補正するブレ補正光学系と、振動を検出して振動信号を出力する振動検出部と、振動信号の基準値を演算する基準値演算部と、プレ補正光学系を駆動する駆動部と、ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、基準値、振動信号及び位置信号に基づき、振動による被写体像のブレを補正するようにブレ捕正光学系の駆動を制御する制御部と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部.と、撮像部により撮像された画像に対して制御位置誤差を加味した画像処理による画像回復を行！、像ブレを捕正する画像回復演算部とを備える。画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、制御位置誤差を用いて点像分布関数を補正する関数補正部とをさらに備え、画像回復演算部は、関数補正部による補正後の点像分布関数で画像処理することにより画像回復を行うことが好ましい。画像回復演算に必要な点像分布関数を演算する点像分布関数演算部をさらに備え、点像分布関数は、（a ) 基準値及び制御位置誤差、（b ) 振動信号及び制御位置誤差、（c ) 基準値及び振動信号及び制御位置誤差、又は、（d ) 制御位置誤差に基づいて演算され、画像回復演算部は、点像分布関数で画像処理することにより画像回復を行つてもよレ、。ブレ補正カメラシステムは、振動検出部と、ブレ補正光学系と、撮像部と、点像分布関数演算部と、基準値演算部と、画像を記録する画像記録部とを少なくとも備えた力メラと、少なくとも画像回復演算部を有し、カメラとは別体の装置であって、画像記録部により記録された画像と点像分布関数とを入力することにより画像回復を行う外部装置とを備えることが好ましい。ブレ補正力メラシステムは、振動検出部と、ブレ補正光学系と、撮像部と、基準値演算部と、画像を記録する画像記録部とを少なくとも備えた力メラと、少なくとも点像分布関数演算部と、画像回復演算部とを有し、カメラとは別体の装置であつて、画像記録部により記録された画像と点像分布関数とを入力することにより画像回復を行う外部装置とを備えてもよい。

本発明によるブレ補正カメラは、像ブレを補正するブレネ正光学系と、振動を検出して振動信号を出力する振動検出部と、振動信号の基準値を演算する基準値演算部と、ブレ補正光学系を駆動する駆動部と、ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、基準値、振動信号及び位置信号に基づき、振動による被写体像のブレを補正するようにブレ補正光学系の駆動を制御する制御部と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、制御位置誤差を用いて点像分布関数を補正する関数補正部と、補正部により補正された点像分布関数を、画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備える。

本発明によるブレ捕正カメラは、像ブレを補正するブレ捕正光学系と、振動を検出して振動信号を出力する振動検出部と、振動信号の基準値を演算する基準値演算部と、ブレ補正光学系を駆動する駆動部と、ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、基準値、振動信号及び位置信号に基づき、振動による被写体像のブレを補正するようにブレ補正光学系の駆動を制御する制御部と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、点像分布関数を画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備え、点像分布関数は、（a ) 基準値及び制御位置誤差、 ( b ) 振動信号及び制御位置誤差、（c ) 基準値及び振動信号及び制御位置誤差、又は、 ( d ) 制御位置誤差に基づいて演算される。

本発明によるブレ補正カメラは、像ブレを補正するプレ補正光学系と、振動を検出して振動信号を出力する振動検出部と、振動信号の基準値を演算する基準値演算部と、ブレ補正光学系を駆動する駆動部と、ブレ捕正光学系の位置を検出し位置信号を出力する位置検出部と、基準値、振動信号及び位置信号に基づき、振動による被写体像のブレを捕正するようにブレ補正光学系の駆動を制御する制御部と、ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるプレ補正光学系の実駆動位置との差を、制御位置誤差として出力する制御位置誤差出力部と、制御位置誤差を画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備える。

本発明による画像回復装置は、ブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、画像データの撮像時に得られた点像分布関数を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、制御位置誤差を用レ、て点像分布関数を補正する関数補正部と、画像データに対して関数補正部による補正後の点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算部とを備える。

本発明による画像回復装置は、ブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、制御位置誤差を用いて点像分布関数を補正する関数補正部と、画像データに対して関数補正部による補正後の点像分布関数で画像処理することにより画像回復を行い、像ブレを捕正する画像回復演算部とを備える。

本発明による画像回復装置は、ブレ補正光学系の駆動目標位置と位置検出部から出力されるプレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及ひブ又は、画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、画像データに対して点像分布関数で画像処理することにより画像回復を行レヽ像ブレを補正する画像回復演算部とを備え、点像分布関数は、（a ) 振動信号から求まる基準値及び制御位置誤差、 ( b ) 振動信号及び制御位置誤差、 ( c ) 基準値及び振動信号及び制御位置誤差、又は、（d ) 制御位置誤差に基づいて演算される。

本発明によるコンピュータ読み込み可能なコンピュータプログラム製品は、ブレ捕正用制御プログラムを有し、該制御プログラムは、ブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ捕正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、画像データの撮像時に得られた点像分布関数を、外部との通信及び Z又は媒体を介して受け取るデータ入力命令と、制御位置誤差を用いて点像分布関数を補正する関数補正命令と、画像データに対して関数補正手順による補正後の点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算命令とを有する。

本発明によるコンピュータ読み込み可能なコンピュータプログラム製品は、ブレ補正用制御プログラムを有し、該制御プログラムは、ブレ捕正光学系の駆動目標位置と位置検出部から出力されるブレ捕正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及ぴ、画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力命令と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算命令と、制御位置誤差を用いて点像分布関数を補正する関数補正命令と、画像データに対して関数補正手順による補正後の点像分布関数で画像処理することにより画像回復を行い、像プレを補正する画像回復演算命令とを有する。

本発明によるコンピュータ読み込み可能なコンピュータプロダラム製品は、ブレ補正用制御プログラムを有し、該制御プログラムは、ブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及ぴ Z又は、画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力命令と、画像回復演算に必要な点像分布関数を、（a ) 振動信号から求まる基準値及び制御位置誤差、 ( b ) 振動信号及び制御位置誤差、（c ) 基準値及び振動信号及び制御位置誤差、又は、（d ) 制御位置誤差に基づいて演算する点像分布関数演算命令と、画像データに対して点像分布関数で画像処理することにより画像回復を行レヽ像ブレを補正する画像回復演算命令とを有する。コンピュータプログラム製品は、制御プログラムが記録された記録媒体である。制御プログラムがデータ信号として embodied された carrier waveでめる。図面の簡単な説明

図 1は、本発明によるブレ補正カメラの第 1実施形態のシステム構成を示すプロック図である。

図 2は、第 1実施形態におけるプレ補正カメラのブロック配置図の一例である。

図 3は、光学式補正系のブレ補正制御部の制御動作を説明する制御プロック図である。図 4 ( a ) 〜（c ) は、本実施形態における画像回復を説明する図である。

図 5 ( a ) 〜（d ) は、本実施形態における画像回復を説明する図である。

図 6 ( a ) 〜（c ) は、従来の画像回復を説明する第 1の図である図 7 ( a ) 〜（d ) は、従来の画像回復を説明する第 2の図である。

図 8 ( a ) ( b ) は、ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。

図 9は、本発明によるブレ補正力メラの第 2実施形態のシステム構成を示すブロック図である。

図 1 0は、第 2実施形態におけるブレ補正カメラのプロック配置図の一例である。

図 1 1は、第 2実施形態におけるブレ補正制御部の動作を説明するブロック図である。図 1 2は、第 2実施形態におけるカメラの動作を示すフローチャートである。

図 1 3は、第 2実施形態における露光及ぴ画像回復動作を示すフローチャートである。図 1 4は、本発明によるブレ補正力メラの第 3実施形態のシステム構成を示すブロック図である。

図 1 5は、ブレ補正動作を行う場合の力メラの基本動作を示すフロ一チャートである。図 1 6は、第 3実施形態における光学式ブレ補正動作モード時のカメラの基本動作を示すフローチヤ一トである。

図 1 7は、第 3実施形態における画像回復動作モード時のカメラの基本動作を示すフローチヤ一トである。

図 1 8は、第 3実施形態におけるブレ検出データに基づいて点像関数演算を行う力否かを判断する画像回復判断部の詳細な動作を示すフローチャートである。

図 1 9は、点像関数演算用データ取得の動作を詳細に示したフローチャートである。

図 2 0は、画像再生装置の基本動作を示すフローチャートである。

図 2 1は、具体的な画像表示及び各種パラメータの操作例を示す図である。

図 2 2 ( a )〜（c ) は、具体的な画像表示及び各種パラメータの操作例を示す図である。図 2 3は、 S 2 1 1 0において保存された回復画像、パラメータ及び原画像の関係を表した模式図である。

図 2 4は、第 4実施形態における画像回復動作を示すフローチャートである。

図 2 5は、第 4実施形態における点像関数に基づいて画像回復を行うか否かを判断する画像回復判断部の詳細な動作を示すフ口一チヤ一トである。

図 2 6は、本発明によるブレ補正カメラの第 5実施形態のシステム構成を示すブロック図である。

図 2 7は、第 5実施形態におけるカメラボディ及ぴ交換レンズの撮影時における動作の流れについて示したフローチヤ一トである。図 2 8は、図 2 7に続いて、第 5実施形態におけるカメラボディ及び交換レンズの撮影時における動作の流れについて示したフローチヤ一トである。発明を実施するための最良の形態

以下、図面等を参照しながら、本明の実施の形態について、さらに詳しく説明する。 <第 1実施形態 >

図 1は、本発明によるプレ補正カメラの第 1実施形態のシステム構成を示すブロック図である。

本実施形態におけるブレ捕正カメラ 1は、光学式ブレ捕正機能を有するとともに画像回復を行うことができるカメラシステムを形成している。図 2は、ブレ捕正カメラ 1を、レンズ鏡筒が交換可能な一眼レフに適用した場合のプロック配置図である。図 2に示すように、カメラシステムはカメラボディ 1 0 1とレンズ鏡筒 1 0 2とを備えている。

ブレ補正カメラ 1は、画像を電子的に撮像する所謂デジタルスチルカメラであり、光学式補正系（またはブレ光学補正系） 5 0 0を備えている。

光学式補正系 5 0 0の角速度センサ 1 0は、ブレ補正カメラ 1に印加された振動を角速度値で検出する振動検出部である。角速度センサ 1 0は、コリオリカを利用して角速度を検出し、検出結果を電圧信号として出力する。

図 2を用いて角速度センサ 1 0及ぴその出力信号の処理について説明する。

角速度センサ 1 0は、撮影レンズの光軸 Iに直交する X軸及ぴ X軸に直交する Y軸方向それぞれに対応して 1つずつ設けられており、ブレ補正カメラ 1の振動を 2次元において検出する。角速度センサ 1 0は、電源供給部 9 0より電源が供給されている間のみ角速度の検出が可能となっている。なお、図 1には理解を容易にするため角速度センサ 1 0を 1 つのみ示し、図 2には、 X軸方向および Y軸方向の角速度センサ 1 0 a、 1 0 bを示している。

増幅部 4 2 0は、角速度センサ 1 0の出力を増幅する増幅部である。

AZD変換部 2 0は、アナ口グ信号をデジタル信号に変換する変換器であり、角速度センサ 1 0からの振動信号をアナログ信号からデジタル信号に変換し、ブレ補正制御部 3 0 へ伝える。

AZD変 4 4 0は、位置検出部 6 0から送られてきたブレ捕正レンズ 7 0の位置情報（アナログ信号）をデジタル信号に変換する変換器である。変換されたブレ補正レンズ位置情報は、ブレ補正制御部 3 0に送信される。 0 変換器430は、ブレ補正制御部 30で演算された駆動信号（デジタル信号）をアナログ信号に変換するための DZA変 «である。変換されたアナログ信号は、光学系駆動部 50に送信される。

一般的に角速度センサ 10からの出力は、小さいため、そのまま AZD変換器 20によつてデジタル化してマイコン 460内で処理しようとしても、角速度値の分解能が低すぎ (1ビットあたりの角速度値が大きすぎ）て正確な振動検出をすることができない。そのためにブレ補正の精度を上げることができない。そこで、 AZD変換器 20に入力する前に、増幅器 420によって角速度信号を増幅しておく。そうすると、マイコン 460内での角速度値の分解能を上げる（ 1ビットあたりの角速度値を小さくする）ことができ、ブレ補正の精度を上げることができる。

増幅部 420には、角速度センサ 10 a， 10 bにそれぞれ対応して増幅部 420 a, 420 bの 2つが設けられている。また、ここでは、信号の増幅をするだけではなく、センサ出力に含まれる高周波ノィズを低減させることを目的とした、ローパスフィルタを付加してもよレ、。

また、図 2に示すように、 A/D変換部 20 , プレ補正制御部 30，光学系駆動部 50 , 位置検出部 60, DZA変換器 430, および AZD変換器 440は、それぞれ X軸方向および Y軸方向に対応する 20 a , 20 b、 30 a, 30 b、 50 a, 50 b、 60 a, 60 b、 430 a, 430 b、および 440 a、 440 bを備えている。ただし、各部の X軸方向および Y軸方向における動作は同様であるので、以下では、 X軸方向および Y軸方向を区別することなく説明する。

以下、図 1に基づいて説明する。

プレ補正制御部 30は、角速度センサ 10により検出された振動信号と、後述の位置検出部 60により検出されたブレ補正レンズ 70の位置情報とから、ブレ補正レンズ 70を駆動するための駆動信号を演算し、光学系駆動部 50に駆動信号を出力する部分である。また、ブレ補正制御部 30は、後述する誤差（制御位置誤差）を出力する制御位置誤差出力部としても機能する。

プレ補正制御部 30には、基準値演算部 31が含まれている（図 3参照)。基準値演算部 31は、角速度センサ 10から得られた振動信号の基準値を演算する部分であり、本実施形態では、デジタルローパスフィルタ（LPF) を使用し、 LPFの出力を基準値としている。ブレ補正制御部 30による制御動作の詳細については、後に説明する。

光学系駆動部 50は、ブレ捕正制御部 30から出力された駆動信号を基に、ブレ補正レンズ 7 0を駆動するァクチユエータである。

位置検出部 6 0は、ブレ捕正するためにブレ補正レンズ 7 0の X軸方向及ぴ Y軸方向の位置を検出する。位置検出部 6 0の出力（位置信号）は、 AZD変換器 4 4 0を経由してブレ補正制御部 3 0に送信される。 ·

ブレ補正レンズ 7 0は、カメラの撮影光学系の一部であり、撮影光学系の光軸 Iと略直交する平面内を動くことができる単レンズ、又は、複数枚のレンズより構成されるレンズ群からなるブレ補正光学系である。ブレ補正レンズ 7 0は、光学系駆動部 5 0によって光軸 Iと略直交する方向に駆動され、撮影光学系の光軸 Iを偏向させる。

写真等の像のブレは、手プレ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。本実施形態におけるブレ捕正カメラ 1では、角速度センサ 1 0により、ブレ捕正カメラ 1に加えられた振動を検出することができる。そして、ブレ補正カメラ 1に加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きを抑えるようにブレ補正レンズ 7 0を駆動し、結像面上の像の動き、すなわち像プレを補正することができる。

ブレ補正力メラ 1は、上述の光学式補正系 5 0 0の他に、制御部 8 0 , 電源供給部 9 0，点像関数演算部 1 0 0，撮像部 1 1 0 , 画像記録部 1 2 0，露出制御部 1 5 0 , 合焦レンズ位置検出部 1 6 0 , 焦点距離検出部 1 7 0 , 閃光制御部 1 8 0 , 操作部 1 9 0等を備えている。

制御部 8 0は、ブレ補正力メラ 1の動作全体を制御する制御部であり、ブレ補正制御部 3 0、点像関数演算部 1 0 0、露出制御部 1 5 0、合焦レンズ位置検出部 1 6 0、焦点距離検出部 1 7 0、閃光制御部 1 8 0などを制御する各種制御演算など行う。

電源供給部 9 0は、図 2に示す半押タイマ 1 9 5が O Nの間は、角速度センサ 1 0を始めとするカメラ内で電源が必要とされるところに電源を供給し続ける部分である。また、半押しタイマが O F Fとなっているときは、電源の供給は停止する。したがって、カメラの半押しタイマ 1 9 5が O Nの間のみ、角速度センサ 1 0によるカメラの振動検出が可能となる。

点像関数演算部 1 0 0は、プレ補正制御部 3 0、露出制御部 1 5 0、合焦レンズ位置検出部 1 6 0、焦点距離検出部 1 7 0などから得られた各種情報に基づき露光中の点像関数 (点像分布関数）を演算する点像分布関数演算部である。

ブレ補正レンズ 7 0による光学式ブレ補正が完全であれば点像関数は 1点となるが、実際には、光学式ブレ補正は完全でないため、点像関数は 1点にはならない。つまり、ブレ補正レンズ 7 0によってネ正しきれない像ブレ（ブレ補正残差）が残る。ここで算出する点像関数は、ブレ補正レンズ 7 0で補正しきれずに結像面に残ったブレ補正残差を、後に画像処理によりさらにブレ捕正するときに使用するものである。

撮像部 1 1 0は、撮像素子 1 1 1， AZD変換部 1 1 2 , 信号処理部 1 1 3等を備え、撮影光学系により結像面に結像した像を撮像し、画像記録部 1 2 0へ画像データを出力する部分である。撮像素子 1 1 1は、撮影光学系により結像面に結像した被写体像を受光し、アナログ信号の画像データに変換する素子である。 AZD変換部 1 1 2は、アナログ画像をデジタル画像に変換する変換器である。信号処理部 1 1 3は、 AZD変換部 1 1 2によりデジタル信号に変換された画像データを処理する部分である。

画像記録部 1 2 0は、撮像部 1 1 0により撮像した画像、点像関数演算部 1 0 0により演算された点像関数、各種画像回復処理に必要な各種情報（パラメータ）などをそれぞれ画像に対応づけて記録保存する部分である。これら点像関数、各種情報などは、例えば、画像ファイル内にヘッダとして埋め込んで記録してもよいし、電子透かし技術のように画像の中に直接埋め込む方法でもよい。また、画像ファイルに対応させた別ファイルを作成し、そこに情報を書き込むようにしてもよい。

画像記録部 1 2 0の具体的な形態は、例えば、コンパクトディスク（商標）、スマートメディア（商標）などの可動記録媒体でもよいし、画像転送を行うバッファメモリであつてもよい。

露出制御部 1 5 0は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から撮像素子への露光時間を制御する部分である。露光時間情報や露光の開始 Z終了のタイミング情報は、点像関数演算部 1 0 0に送信される。

合焦レンズ位置検出部 1 6 0は、不図示の合焦レンズの位置を検出する部分である。合焦レンズの位置を検出することにより、点像関数の演算に必要な結像面から被写体までの距離を算出することができる。

焦点検出部 1 7 0は、撮影光学系の撮影時のレンズ焦点距離 f を検出する部分である。このレンズ焦点距離 f も、点像関数の演算に必要な情報である。

閃光制御部 1 8 0は、閃光発光部 1 8 1の発光を制御する部分である。

操作部 1 9 0は、半押しスィッチ（S W 1 ) 1 9 1、全押しスィッチ（S W2 ) 1 9 2 などを有している。

半押しスィッチ 1 9 1は、不図示のレリーズボタンの半押し動作に連動して O Nとなるスィッチである。この半押しスィッチ 1 9 1が O Nとなることにより、不図示の測光部による測光演算、オートフォーカス駆動などが開始される。また、半押しタイマ 1 9 5が O F Fであった場合には、この半押しスィッチ 1 9 1の O Nに同期して半押しタイマ 1 9 5 が〇Nとなる。

全押しスィッチ 1 9 2は、不図示のレリーズボタンの全押し動作に連動して O Nとなるスィッチである。この全押しスィッチ 1 9 2が O Nとなることにより、図示しないシャツタ機構によるシャッタの開閉、ィメージセンサによる画像の取り込みなど一連の撮影動作が行われる。

画像回復演算部 2 1 0は、ブレ補正力メラ 1の画像記録部 1 2 0から送られてきた画像デ一タと、画像データに対応する点像関数情報及ぴ画像回復処理するための各種パラメ一タに基づいて、画像に含まれるブレを補正する画像回復処理を実行する部分である。画像回復演算部 2 1 0における画像回復処理には、式（6 ) で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。

画像表示部 2 2 0は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、カメラのモニタ部がこの部分に相当する。

次に、ブレ補正制御部 3 0に関連する部分について、光学式ブレ補正動作の制御を含めて説明する。

図 3は、光学式補正系 5 0 0のブレ補正制御部 3 0の制御動作を説明する制御プロック図である。

まず、カメラに加えられた振動を角速度センサ 1 0により検出する。角速度センサ 1 0 は、通常、コリオリカを検出する圧電振動式角速度センサを用いる。角速度センサ 1 0の出力は、 AZD変換器 2 0を介して基準値演算部（低周波成分抽出） 3 1へ入力される。基準値演算部 3 1は、角速度センサ 1 0の出力よりブレの基準値を演算する部分である。通常の手振れの基準値は、角速度センサ 1 0が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。したがって、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならなレ、。基準値演算には、デジタルローパスフィルタ（L P F ) を用いる。

デジタルローパスフィルタのカットオフ周波数 f cは、出来るだけ低く設定する事が望ましいが、従来技術の説明においても述べた通り、カットオフ周波数 f cをあまり低く設定するとセンサドリフトの影響を受けやすくなる。また、逆に高く設定すると f c以下の周波数成分は、光学補正されないため像ブレとして残ってしまう。後で詳しく述べるが、この光学補正されない基準値出力を基に点像関数を求め、画像回復処理を行うことにより光学補正で取りきれなかった像ブレを後処理により回復することが可能となる。

次に、基準値演算した後、角速度センサ 1 0からのブレ検出信号から基準値を減算したブレ検出信号を、積分部 3 2へ送信する。

積分部 3 2では、角速度の単位で表されているブレ検出信号を時間積分し、カメラのブレ角度に変換する。例えば、以下の式（7 ) により演算する。

θ (り = d(t - i) + c -(_ω (t) - ω₀ (t)) (7)

式（7 ) 中の各記号は、 0 (t)：目標駆動位置， ω (ί)：プレ検出信号， c O (t)：基準値， t :時間（整数値）であり、 Cは、レンズの焦点距離等の条件によって決まる定数である。積分部 3 2により演算された目標駆動位置信号は、目標駆動位置演算部 3 3へ送信される。

目標駆動位置演算部 3 3では、積分部 3 2から送られてきたブレ角度情報に焦点検出部 1 7 0からのレンズ焦点距離 fや合焦レンズ位置検出部 1 6 0からの被写体距離 Dなどの情報を加味して、プレ補正レンズ 7 0を駆動するための目標駆動位置情報を演算する。ブレ補正制御部 3 0では、公知の P I D制御等用いて、この目標駆動位置情報に応じてブレ補正レンズ 7 0を動かすために目標駆動位置情報とブレ補正レンズ 7 0の位置検出 6 0からの位置情報との差をとり、光学系駆動部 5 0を駆動するための駆動信号を送出する。駆動信号は D /A変換器 4 3 0を介して光学系駆動部 5 0へ送られる。送出された駆動信号に基づいて光学系駆動部 5 0のコイルに電流を流すことにより、ブレ補正レンズ 7 0を光軸に直交する方向に駆動することが可能となる。

位置検出部 6 0では、プレ補正レンズ 7 0の位置をモニタしており、検出されたレンズ位置信号を用いて、ブレ補正レンズ 7 0がブレ捕正制御部 3 0によりフィードバック制御される。

次に、点像関数演算部 1 0 0の動作について説明する。

光学式補正系 5 0 0によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差の発生）という問題については、従来技術の説明において述べた（図 8 ( a ) ( b ) 参照)。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そこで、本実施形態における点像関数演算部 1 0 0では、基準値を元にブレ補正残差の点像関数を算出する。

ここで、点像関数の演算方法について簡単に説明する。

点像関数は、下記式を用いて算出する。すなわち、取得した基準値 ω θから基準値演算平均値 coOaveを減算し、これを積分して誤差角度 0 (t) を求める。さらに焦点距離情報 f から像面での点像分布関数 X (t) を求める。

Θ'(ί) = θ'(ί-1)+ C-(m₀(t) -ω₀ανβ) (9)

X(t) = f'Ois) (10)

なお、テレコンバータ装着時は、.テレコンバータの倍率に応じて焦点距離を変更する必要がある。また、被写体距離情報を用いて補正を行うとさらに点像分布関数の精度は高くなる。この場合、次の式 (11)を用いるとよい。

X(t) ^ β-Rf-ei) (11)

β：横倍率

R：被写体距離

これらの演算をそれぞれ X方向、 Υ方向について行い、それらを X— Υ平面に展開すると点像分布関数が得られる。

なお、上述の例は、点像関数演算の一例であって、点像関数の演算には、他の方法を利用してもよい。

ここで算出した点像関数は、画像回復演算部 2 1 0に送信される。画像回復演算部 2 1 0は、この送信された点像関数を基に画像回復演算を行い、ブレ補正レンズ 70のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ補正効果の高い高画質な画像を得ることができる。

従来の画像回復処理に用いるデータは、角速度センサ等により検出されたブレ検出データから直接点像関数を求めて画像回復を行う例がほとんどであった。し力し、先にも述べたように、このような方法では、画像のブレが大きくなつてしまった場合、画像回復をしても画質が改善されないと'いう問題があった。し力し、本実施形態によれば、光学式ブレ捕正機構によりある程度ブレを補正し、そのときのブレ情報を用いて画像回復処理することにより大幅な画質改善が可能である。

図 4 (a) 〜（c) 及び図 5 (a) 〜（d) は、本実施形態における画像回復を説明する図である。

本実施形態では、光学式ブレ補正機構によりブレ補正された後の画像データ及びブレ情報を用いているので、ブレ量が大きすぎることはない。この点の効果は、図 7 (a)〜（d) と比較することにより明らかである。ブレが大きくなるほど伝達されない周波数成分が増え、画像の回復が難しくなる。図 5 (b) に示す空間周波数伝達関数が 0になっている点が図 7 ( b ) のそれよりも少なくなつていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示してレ、る。

以上詳しく説明したように、本第 1実施形態によれば、以下の効果を奏することができる。

像ブレを補正するブレ補正光学系と、撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備えるので、プレネ甫正光学系を用いた光学的なブレ補正の問題点と、画像回復によるプレ補正の問題点を補完し、ブレ補正効果を高くすることができる。

点像分布関数を演算する点像分布関数演算部を備え、画像回復演算部は、画像を点像分布関数で処理することにより画像回復を行うので、撮影時に点像分布関数を演算し保存しておけば、撮影後の任意の時点で画像回復を行うことができる。

点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算するので、ブレ補正光学系によるブレ補正で補正しきれなかったブレを点像分布関数とすることができ、ブレ補正光学系によるブレ補正で補正しきれなかったブレを画像回復により補正することができる。く第 2実施形態〉

本実施形態は第 1実施形態のシステム構成にブレ補正動作選択スィツチ 1 9 4と信号流れ制御部 4 5 2が設けられた構成である。

図 9は、本実施形態のシステム構成ブロック図であり、図 1 0はそれら構成のブロック配置図である。第 1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

図 1 1はブレ補正制御部の動作を説明するブロック図である。図 1 1に示すように、基準値演算部 3 1からの出力が点像関数演算部 1 0 0に送出される際に、ブレ補正動作をするか否かを切り替える信号流れ制御部 4 5 2が設けてある。

ブレ補正動作選択スィッチ（V R S W) 1 9 4は、光学的なブレ捕正動作の〇Nノ O F Fを切り替えるスィッチである。また、信号流れ制御部 4 5 2は、 V R S W 1 9 4の状態により、点像関数演算部 1 0 0へ送信するデータを切り替える部分である。なお、この補正動作選択スィツチ 1 9 4は、レンズ、鏡筒が交換可能な力メラにおいて図 1 0に示すように、交換レンズのレンズ鏡筒 1 0 2の外周部に設けられる。本実施形態での選択スィッチ 194に基づく動作は次のようになる。

VRSW1 94が O N_の場合は、レンズ補正レンズ 70を駆動し、光学式補正動作と画像回復のために必要な動作が行われる。画像回復処理するために必要な画像回復用のデータは、基準値演算部 31から点像関数演算部 100に送出される。一方、 VRSW1 94 が O F Fの状態では、ブレ捕正レンズ 70の駆動を停止し、光学的なブレ補正動作は行わない。目標駆動位置演算部 33から出力された目標駆動位置信号は画像回復用のデータとして点像関数演算部 100へ送信される。なお、 VRSW1 94の設定状態は、いずれの状態であっても点像関数演算部 100に送信される。

次に、本実施形態におけるブレ捕正カメラ 1の基本動作について説明する。

図 1 2は、本実施形態におけるカメラの基本動作を説明するフローチャートである。以下、図 1 2に示したフローチャートに従い、本実施形態におけるカメラの動作の流れについて説明する。

なお、これ以降に説明する内容は、 X方向 Y方向ともに共通の内容であるため、特に方向に関しては明記せずに説明を行う。

ステップ S 1010では、半押しスィッチ SW1が ONとなっているか否かを判定する。半押しスィッチ SW1が〇Nならば S 1020へ進み、半押しスィッチ SW1が OF Fならば S 1140に進む。

S 1020では、カウンタ T s wlをリセットし、カウント値を 0とする。カウンタ T s w 1は、半押しスィッチ S W 1が〇 F Fになってからの経過時間を計測するためのカウンタで、カウント値は整数である。このカウンタは、半押しスィッチ SW1が ONの間は 0のままで、半押しスィッチ SW1が OF Fで、かつ半押しタイマ 100が ONの間のみ動作する。

S 1030では、半押しタイマ 1 95が OFFであるか否かを判定する。半押しタイマ 1 95が OFFであれば S 1040へ進み、半押しタイマ 195が ONであれば S 1 1 7 0へ進む。

S 1 040では、カウンタ tをリセットし、カウント値を 0とする。カウンタ tは、半押しタイマ 195が ONとなっている時間を計測するためのカウンタである。このカウンタは、整数値カウンタであり、半 i しタイマ 1 95が ONとなったと同時にカウント動作を開始し、半押しタイマ 195が〇Nの間は、カウント動作を続ける。

S 1 050では、半押しタイマ 1 95を ONにする。 S 1 060では、角速度センサ 1 0を ONとし、振動の検出を開始する。この他、 AZD変換器 20による変換動作もここで開始される。 S 1 070では、角速度センサ 1 0からの出力に基づいて基準値の演算を開始する。 S 1 080では、ブレ補正レンズ 70を駆動するための駆動信号の演算を開始する。 S 1 0 90では、 VRSW1 94が ONに設定されているか否かを判定する。 VR SW1 94が〇Nに設定されている場合は、ブレ補正レンズ 70を駆動させるために S 1 1 00に進む。一方、 VRSW1 94が OFFに設定されている場合は、 S 1 1 30へ進む。

S 1 100では、プレ補正レンズ 70の駆動を開始する。 S 1 1 1 0では、露光動作、画像回復動作を行う。この動作の詳細については、後に図 1 3を用いて説明する。 S 1 1 20では、半押しタイマ 1 9 5のカウンタ tを 1つ進める。 S 1 1 30では、ブレ補正レンズ 7 0の駆動を停止する。なお、このステップに進んだ時点でブレ補正レンズ 70の駆動が既に停止していた場合は、そのまま停止状態を継続する。

S 1 140では、半押しタイマ 1 9 5が ONである力否かを判定する。半押しタイマ 1 9 5が ONならば S 1 1 50へ進み、半押しタイマ 1 9 5が〇 F Fならば S 1 0 1 0へ戻り、半押しスィッチ SW1の検出を続行する。 S 1 1 50では、このステップに進んだ時点では、カメラは半押しスィッチ SW1が OFFで半押しタイマ 1 9 5が ONの状態になつている。この状態が継続している時間を計測するため、カウンタ T s w 1を 1つ進める。

5 1 1 60では、カウンタ Ύ s w 1の値がしきい値 T— SW1よりも小さいか否かを判定する。ここで、しきい値 T— SW1は、カウンタ T s w 1の上限を決めるための定数で、半押しスィツチ SW1が OFFとなってから半押しタイマ 1 9 5が OF Fとなるまでの時間を決めるものである。

カウンタ T s w 1がしきい値 T— S W 1に満たない場合、すなわち肯定判定の場合は、半押しタイマ 1 9 5は OF Fとせず、 S 1 1 70に進む。一方、カウンタ T s wlがこのしきい値 T— SW1と等しくなつた場合、すなわちこのステップで否定判定となった場合は、 S 1 220に進み、半押しタイマ 1 9 5を OFFにする処理、およぴ半押しタイマ 1 9 5が OFFになったときに伴う処理を行う。

5 1 1 70では、角速度センサ 1 0が ONの状態を継続し、振れの検出を行う。また、 AZD変換器 20による変換動作も継続する。 S 1 1 80では、基準値の演算を継続する。 S 1 1 90では、角速度センサ 10の出力と S 1 1 80で演算した基準値からブレ捕正レンズ 7 0を駆動するための駆動信号の演算を継続する。

S 1 200では、 VRSW1 94が ONに設定されているか否かを判定する。 VRSW 1 94が ONに設定されている場合は、ブレ補正レンズ 70の駆動を継続させるために S 1 210に進む。 VRSW194が OFFに設定されている場合は、 S 1 1 30へ進む。

S 1 210では、ブレ捕正レンズ 70の駆動を継続する。 S 1220では、ブレ捕正レンズ 70の駆動を停止する。 S 1 230では、基準値の演算を停止する。 S 1 240では、角速度センサ 10への電源の供給をストップし、角速度センサ 10を OFFとする。 S 1 250では、半押しタイマ 195を OFFにして S 1010に戻り、半押しスィツチ（S W1) 1 91の状態検出を行う。

次に、本実施形態のカメラの露光動作及ぴ画像回復動作について説明する。

図 1 3は、図 12における S 1 1 1 0の露光動作、画像回復動作の詳細を示すフローチヤートである。

S 1 500では、全押しスィッチ（SW2) 1 92が ONか否かを判定する。全押しスィッチ SW2が ONの場合は、 S 1 5 10へ進み、全押しスィッチ SW2が OF Fの場合は、 S 1520へ進む。

S 1 510では、露光開始の処理が済んでいるか否かを判定する。露光開始処理が済んでいる場合は、 S 1520へ進み、露光開始処理が済んでいない場合は、 S 1 530へ進む。全押しスィッチ SW2は、露光動作のきっかけとなるスィッチである。このスイツチが ONとなったときに露光が開始されていなければここで露光を開始し、既に露光が開始されていれば露光の制御を行うようにする。

S 1 520では、露光中であるか否かを判定する。露光中であれば S 1 540へ進み、露光中でなければ S 1570へ進む。 S 1530では、不図示のミラーのアップ、シャツタを開ける等の露光開始のための処理を行う。 S 1540では、 VRSW1 94が ONになっているか否かを判定する。 VRSW1 94が ONとなっていれば S 1550へ進み、 VRSW194が OFFであれば S 1 560へ進む。

S 1 550では、基準値を積分する。これは、光学的なブレ補正動作によって補正しきれなかった像のブレを演算するものと等価である。積分した値は、メモリなどに蓄積しておき、露光後の点像関数の演算に利用する。

S 1 560では、目標駆動位置信号を読み込み、メモリなどに蓄積しておく。これを利用して露光終了後に点像関数の演算を行う。 S 1 570では、露光を終了させるための処理が完了しているか否かを判定する。処理が完了している場合には、 S 1590へ進み、処理が完了していない場合には、 S 1 580へ進む。 S 1580では、ミラーのダウン、シャッタを閉じる等の露光終了のための処理を行う。

S 1 590では、点像関数の演算が終了しているか否かを判定する。点像関数の演算が終了していれば S 1 6 1 0へ進み、点像関数の演算が終了していなければ S 1 6 0 0へ進む。 . _

S 1 6 0 0では、点像関数の演算を開始もしくは継続する。このステップに来た時点で点像関数の演算が開始されていなければ演算を開始し、既に演算が開始されていたらその演算を継続する。

S 1 6 1 0では、画像回復の演算が終了しているか否かを判定する。画像回復の演算が終了していれば S 1 1 2 0へ進み、画像回復の演算が終了していなければ S 1 6 2 0へ進む。 S 1 6 2 0では、画像回復の演算を開始もしくは,継続する。このステップに来た時点で画像回復の演算が開始されていなければ演算を開始し、既に画像回復の演算が開始されていたらその演算を継続する。

また、光学的なブレ補正動作を行わない場合は、角速度センサ 1 0の出力から点像関数を演算し、撮影後の画像回復処理によってブレを軽減することができる。したがって、バッテリー不足、スィッチの入れ忘れなど、何らかの障害によりブレ補正レンズ 7 0が動作しない場合であっても、画像回復処理によってブレを軽減させることができる。

以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。像ブレを補正するブレ補正光学系と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、撮像部により撮像された画像に対して点像分布関数で画像処理することにより画像回復を行!/、像ブレを補正する画像回復演算部とを備えるので、ブレ補正光学系を用いた光学的なブレ補正を行うか否かに関わらず、画像回復を行うことができる。

点像分布関数演算部による点像分布関数の演算を基準値を用いて行うか、振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部を備えるので、必要に応じて点像分布関数の演算方法を選択することができ、必要なときに画像回復を有効に行うことができる。

点像分布関数演算切り替え部は、ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねているので、ブレ補正光学系によるブレ補正動作に連動して、点像分布関数の演算方法を変更することができ、ブレ補正光学系によるブレ補正動作の有無に応じた最適な点像分布関数の演算を行うことができる。

ブレ補正光学系によるブレ補正動作を行わない場合には、点像分布関数演算部は、振動検出信号を用いて点像分布関数を演算するので、演算される点像分布関数は、カメラのブレそのものに関するものとなり、このカメラのブレに起因する像ブレを画像回復により回復することができる。

像ブレを補正するブレ補正光学系と、基準値、又は、振動検出信号を用いて点像分布関数を演算する点像分布関数演算部とを備えるので、ブレ補正光学系を用いた光学的なブレ補正を行うか否かに関わらず、画像回復に必要な点像分布関数を最適な演算方法で演算することができ、撮影した画像を後に外部装置などにより有効に画像回復することができる。

<第 3実施形態〉

第 3実施形態は、画像回復装置とカメラ本体とを別体とした形態である。第 1実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。図 1 4は、本発明によるブレ補正力メラの第 3実施形態のシステム構成を示すブロック図である。

本実施形態のブレ補正力メラ本体 1は、第 1の実施形態の構成に関数補正部 1 0 5 , ィンターフェイス部 1 3 0 , 画像回復判断部 1 4 0が設けられ、画像回復演算部 2 1 0は画像再生装置 2の一部としてカメラ本体 1と分離された構成となっている。

画像再生装置 2は、ブレ補正力メラ 1により撮像された画像を画像記録部 1 2 0又はブレ補正カメラ 1と再生装置とを転送ケーブルなどを用いて接続し再生するとともに、画像回復を行うことができる画像回復装置である。

関数補正部 1 0 5は、位置検出部 6 0から得られるブレ補正レンズ 7 0の位置信号を用いて点像関数を補正する部分である。より具体的には、位置信号を利用して駆動目標位置と位置信号（実駆動位置）との差である制御位置誤差により点像関数の補正を行う。

画像記録部 1 2 0は、ィンターフェイス部 1 3 0と画像再生装置 2とを転送ケーブル 3 0 0を用いて接続し、画像記録部 1 2 0に保存された画像、及び、画像回復処理に必要な情報を必要に応じて画像再生装置 2へ転送する。

インターフェイス部 1 3 0は、ブレ補正カメラ 1と画像再生装置 2とを接続するときなどに、転送ケーブル 3 0 0を接続する端子を備えた通信手段である。

接続ケーブル 3 0 0は、インターフェイス部 1 3 0の接続コネクタと画像再生装置 2の通信ポート（例えば、 R S— 2 3 2 C、 U S B、パラレルポート、 I E E E 1 3 9 4等）を接続するケーブルである。この接続ケ一ブル 3 0 0を介してブレ補正カメラ 1と画像再生装置 2との間でデータの送受信が行われる。

画像回復判断部 1 4 0は、点像関数演算を行う力否か判断処理する部分である。すなわち、ブレ補正制御部 3 0の基準値演算部からの出力データをシャツタ速度ゃブレ量などの情報を基づいて点像関数演算を行うか否か判断する部分である。

画像回復判断部 1 4 0により点像関数演算の必要性を判断するので、画像記録部 1 2 0 に保存する情報をできるだけ必要なデータだけとすることができ、無駄な演算動作ゃメモリ容量の軽減を図ることができる。

操作部 1 9 0は、半押しスィッチ（S W) 1 9 1、全押しスィッチ（S W) 1 9 2、プレ捕正モード選択スィッチ（S W) 1 9 4などを有している。

ブレ補正モード選択スィツチ 1 9 4は、光学式補正動作モードと画像回復モードの組み合わせ選択を行う操作部材である。本実施形態では、ブレ補正動作モードを 3モード選択可能なスィッチとし、その動作は次のようになる。

「ブレ補正 O F Fモード J が選択された場合、光学式補正も画像回復も行わない。すなわち、ブレ補正レンズ 7 0の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデ一タの記録保存も行わなレ、。

「光学式補正動作モード」が選択された場合、光学式補正動作のみ行い、ブレ補正レンズ 7 0を駆動させて像ブレ補正動作を行う力画像回復処理のための点像関数の演算、画像回復用のデータの記録保存等は行わなレ、。

「画像回復動作モード」が選択された場合、光学式補正動作と画像回復のために必要な動作が行われる。画像回復処理するために必要な画像回復用のデータは、光学式補正系 5 0 0から画像回復判断部 1 4 0を介して点像関数演算部 1 0 0に送出される。

次に、画像再生装置 2について説明する。

画像再生装置 2は、画像回復処理を実行する画像回復演算部 2 1 0と画像を表示する画像表示部 2 2 0と、回復結果保存部 2 3 0とを備えている。

本実施形態における画像再生装置 2は、パソコンを利用しており、このパソコンに画像回復に必要な専用のブレ補正プログラムを含むアプリケーシヨンソフトウエアをインストールすることにより、画像再生装置 2として機能させている。

このブレ補正プログラムには、画像回復処理を実行するプ画像回復演算部（画像回復演算手順）のほかに、カメラ側から転送された画像データ、点像分布関数及び各種パラメ一タを受け取るデータ入力部（データ入力手順）や画像再生装置側からカメラ側のパラメ一タ設定を行う設定部などが含まれる。

なお、画像再生装置 2は、パソコンを利用する場合に限らず、例えば、専用の再生装置としてもよいし、カメラの中に組み込んでもよい。画像回復演算部 2 1 0は、ブレ補正カメラ 1の画像記録部 1 2 0から送られてきた画像データと、画像データに対応する点像関数情報及び画像回復処理するための各種パラメ一タとに基づいて、画像に含まれるブレを補正する面像回復処理を実行する部分である。画像回復演算部 2 1 0における画像回復処理には、式（6 ) で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。

画像表示部 2 2 0は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、パソコンのモニタ部がこの部分に相当する。

回復結果保存部 2 3 0は、画像回復演算部 2 1 0により画像回復処理された回復画像と画像回復処理を行うときに用いたパラメータとを、原画像に関連づけて保存する部分である。 ·

次に、本実施形態におけるブレ補正カメラ 1の基本動作について説明する。

図 1 5は、ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。ステップ S 2 1 0において、半押しスィッチ 1 9 1が O Nされると、 S 2 2 0へ進む。 S 2 2 0では、プレ補正モード選択スィツチ 1 9 4の状態を判別する。「光学式補正動作モード」の場合は S 2 3 0の光学式補正動作フローに進み、「画像回復動作モード」の場合は S 2 4 0の光学式ブレ補正動作と画像回復処理動作とを行う画像回復処理フローへと進む。「ブレ補正 O F Fモード」が選択された場合は S 2 5 0へ進む。

S 2 5 0では、「プレ補正 O F Fモード」が選択されているので、上述のように、光学式補正も画像回復も行わず、ブレ補正レンズ 7 0の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。

以下、「光学式補正動作モード」及び「画像回復動作モード」それぞれの場合のブレ補正カメラ 1の動作を説明する。

まず、「光学式補正動作モード」時のブレ捕正カメラの動作について説明する。

図 1 6は、光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。

S 4 0 0では、基準値演算部 3 1に用いられている L P F部のカツトオフ周波数 f cを f c = 0 . 1 H zに設定する。 S 4 1 0では、振動検出部である角速度センサ 1 0が O N となる。 S 4 2 0では、ロックされていたブレ捕正レンズ 7 0のロックを解除する。 S 4 3 0では、ブレ補正動作が開始される。ここで開始されるブレ補正とは、角速度センサ 1 0の出力に基づき、その像ブレを打ち消すようにブレ補正レンズ 7 0を光軸方向に略直交する方向に移動させて、ブレを補正する光学式プレ補正動作である。 S 4 4 0では、半押しタイマの状態を検出し、半押しタイマが O F Fならば S 4 5 0へ進み、半押しタイマが〇Nならば S 4 7 0へ進む。 S 4 5 0では、ブレ補正動作を停止し、 S 4 6 0で補正レンズ 7 0を口ックし光学捕正モードを終了する。 S 4 7 0では、全押しスィツチ 1 9 2の状態を検出し、全押しスィツチ 1 9 2が O Nならば S 4 8 0へ進み、全押しスィツチ 1 9 2が O F Fならば S 4 4 0へ戻る。

S 4 8 0では、ブレ捕正レンズ 7 0のセンタリング動作を実行後、再度ブレ補正を開始する。光学系駆動部 5 0により駆動されていない状態では、撮影光学系の光軸 Iとブレ補正レンズ 7 0の光軸とが必ずしも一致していない。通常は、ブレ捕正レンズ 7 0は、その可動範囲の端部に移動した状態にあることが多く、そのままブレ補正動作を行うと、駆動できない方向が生じてしまうので、このセンタリング動作によりプレネ甫正レンズ 7 0の光軸と撮影光学系の光軸 Iとが略一致するように、ブレ補正レンズ 7 0を駆動する。

S 4 9 0では、シャツタ開動作が行われ、撮像部 1 1 0への露光が開始される。 S 5 0 0では、閃光（S B ) 発光するか否かの判断が行われ、閃光の発光を行う場合 S 5 1 0へ進み、閃光の発光を行わない場合 S 5 2 0へ進む。 S 5 1 0では、閃光の発光が行われる。 S 5 2 0では、シャツタが閉じられ、露出が終了する。その後、 S 4 4 0の半押しタイマ判断ルーチンへ戻る。

次に、「画像回復動作モード」時のブレ補正カメラの動作について説明する。

図 1 7は、画像回復動作モード時のカメラの基本動作を示すフローチャートである。 S 6 0 0では、基準値演算部 3 1に用いられている L P F部のカツトオフ周波数 f cを f c = 1 H zに設定する。上述した「光学式捕正動作モード」時には、 f c = 0 . 1 H z としたのに対して、この「画像回復動作モード」時には、カットオフ周波数 f cを上げている。

このように設定することにより、「画像回復動作モード」時には、「光学式補正動作モード」時に比べて、ブレ補正カメラ 1の振動の内、点像関数演算部 1 0 0により演算される点像関数に現れる成分を多くし、ブレ補正レンズ 7 0を駆動してブレ補正する成分を少なくすることができる。そうすることにより、ブレ補正レンズ 7 0を駆動する駆動量を減少させることができ、ブレ補正レンズ 7 0が駆動可能な範囲内で余裕を持って駆動することができる。この場合、光学式ブレ捕正動作により補正されるブレ量が減少し、撮像される画像のブレ量が増加するが、この増加したブレについては、後に画像回復により補正されるので、最終的には、プレ補正効果が高く、像ブレがない、又は、像ブレが非常に少ない画像を得ることができる。このように、「画像回復動作モード」時には、基準値演算に使用するカットオフ周波数を「光学式補正動作モード」時に比べて高くし、ブレ捕正する成分を光学式ブレ補正と画像回復とに配分することにより、「光学式捕正動作モード」時に比べて、より大きな手振れであっても、適切なブレ補正を行うことができる。

図 1 7における S 6 1 0から S 6 7 0までのフローは、図 1 6における S 4 1 0から S 4 7 0までのフローにおける動作と同様なので、ここでの詳細な説明は省略する。

S 6 8 0では、回復処理判断を行う。この S 6 8 0の回復処理判断の詳細な説明は、後に図 1 8を用いて行う。このステップにおける回復処理判断により画像回復処理が必要無いと判断された場合は、 S 6 9 0へ進み、画像回復処理が必要であると判断された場合は、 S 7 2 0へ進む。

S 6 9 0では、図 1 6における S 4 8 0と同様に、ブレネ唐正レンズ 7 0のセンタリング動作の実行後、ブレ補正が再開される。 S 7 0 0では、シャツタ開動作が行われ、撮像部 1 1 0への露光が開始される。 S 7 1 0では、シャツタが閉じられ、露出が終了する。その後、 S 6 4 0の半押しタイマ判断ルーチンへ戻る。 S 7 2 0では、図 1 6における S 4 8 0と同様に、ブレ補正レンズ 7 0のセンタリング動作の実行後、ブレ補正が再開される。

S 7 3 0では、シャツタ開動作が行われ、撮像部 1 1 0への露光が開始される。 S 7 4 0では、露光期間中に点像関数演算用のデータ取得を行う。点像関数演算用のデータとしては、角速度センサ 1 0からの出力に基づいて演算された基準値と、位置検出部 6 0により得られたブレ補正レンズ 7 0の位置情報に基づいて演算された誤差情報とが含まれている。この S 7 4 0における点像関数演算用データ取得の詳細については、後に図 1 9を用いて説明する。

S 7 4 5では、シャツタが閉じられ、露光が終了する。 S 7 5 0では、点像関数演算用データの取得後、取得したデータを用いて点像関数の演算を行う。点像関数の演算例については、第 1の実施形態にて説明したので省略する。 S 7 5 5では、 S 7 4 0において演算した点像関数を、誤差データを用いて補正する（関数補正部 1 0 5による動作)。

ここで、誤差データを用いた点像関数の補正方法について説明する。

時間 tの関数としてブレ補正レンズ 7 0の駆動目標位置を 1 c ( t )、実駆動位置を 1 r ( t ) とすると、 X軸方向及び Y軸方向それぞれにおける制御位置誤差 e ( t ) は、以下の式により与えられる（制御位置誤差出力部としての動作)。

e x ( t ) = 1 c x ( t ) - 1 r x ( t ) ( 1 2 )

e y ( t ) = 1 c y ( t ) 一 1 r y ( t ) ( 1 3 ) これらの式（12)、（13) を 2次元に展開した関数を e (X, y) とすると、捕正後の点像関数 P ' (x、 y) は、数 1に示した点像関数 p (X , y) を用いて、以下の式により与えられる。

p (χ、 γ ) = p (x， y + e χ, γ ) 、丄 4)

点像関数を補正した後、 S 760では、画像回復処理対象画像に、ブレマークを付与する。

S 770では、補正した点像関数をブレ情報として記録し、 S 640へ戻る。

次に、光学式補正系 500から出力されたブレ情報の処理と点像関数演算用データの取得について説明する。

図 18は、ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復判断部 140 (図 17における S 680) の詳細な動作を示すフローチャートである。

この画像回復判断部 140の判断に基づき画像回復に必要なブレ検出データを記録するか否かが判断される。

S 310では、ブレ検出量の大きさに基づき、画像回復処理の有効性を判断する。このステツプでは、目標駆動位置演算結果から画像回復処理することによりブレを効果的に補正することができるか否かをブレ情報や力メラ撮影情報に基づいて画像回復可能条件範囲を予め設定しておき、その条件に基づき判断を行う。

例えば、ブレ量が大きすぎる（最大限界ブレ量）と画像回復処理しても画像に縞模様が目立ち、この縞模様による画質劣化を避けることができない。また、ブレ量が小さすぎる (最小限界ブレ量）と画像回復してもその改善効果が現れなレ、。

そこで、これら限界ブレ量は、予め実験や経験により得ることにより設定しておく。

S 320では、シャツタ速度（露光時間）により画像回復処理の必要性を判断する。このステップでは、シャツタ速度によりある程度ブレ量の大きさが予測され、その予測されるプレ量により画像回復処理が必要か否かを判断する。シャッタ速度が速い場合は、たとえブレが生じても非常に小さいブレ量であり、鑑賞に堪えられる画像であると判断される。この場合のブレ量は、焦点距離とシャツタ速度の双方から求められる。光学式ブレ補正を行わない場合には、手ブレが発生するのは、（1ノ焦点距離）のシャツタ速度より遅い場合であると一般的にいわれている。し力し、本実施形態では、光学式ブレ補正も行っているので、例えば、以下の式（15) を満たす場合にのみ、画像回復処理を行うようにする。

(ΑΖ焦点距離）くシャツタ秒時（露光時間）（15)

ここで、（式 15) における 'A' は、所定値としてもよいし、他の条件により変化する変数としてもよレ、。

S 310， S 320におけるシャツタ速度判断及びブレ検出量判断共に回復処理必要と判断された場合には、回復処理有りの S 330の露光シーケンスとなり、図 1 7における

5720へ進む。

一方、 S 310, S 320におけるシャツタ速度判断又はブレ検出量判断のいずれかにおいて回復処理不要と判断された場合には、 S 340へ進み、画像回復動作を行わない旨の警告.表示（告知）を行う。告知は、例えば、替告音であってもよいし、所定の表示を行うようにしてもよレ、。

S 340を実行した後、 S 350の回復処理無しの露光シーケンスとなり、図 1 7における S 690へ進む。

この図 18に示したように、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減でき、メモリ容量の軽減を行うことができる。

図 1 9は、点像関数演算用データ取得の動作（図 1 7における S 740) を詳細に示したフローチャートである。

本実施形態では、メモリ容量の節約等を主な目的として、図 1 9に示す間引き処理（情報量減少部としての処理）を行っている。

露光開始後、 S 910では、カウンタをリセットする。具体的には、 N= l, K=0とする。ここで、 Νは、複数の基準値を区別するために付与する番号となるカウンタであり、 Κは、時間を計るタイマとなるカウンタである。

S 920では、最初の基準値出力である ωθ (1) を保存する。

S 925では、そのときの誤差 e (1) を演算して保存する。ここで、誤差とは、目標駆動位置演算部 33により演算されたブレ補正レンズ 70の駆動目標位置と、位置検出部

60から出力されるプレ捕正レンズ 70の実駆動位置との差（制御位置誤差）であり、ブレ捕正制御部 30により演算される。ブレ補正制御部 30では、駆動目標位置と実駆動位置との差を埋めるように駆動信号を出力しているが、ブレ補正レンズ 70が駆動目標に追従しきれない場合があり、この場合に誤差が生じる。

S 930では、基準値出力の平均値 ωθ a V eを以下の式により演算する。

ω ₀ave= ₀ (N) + ω _QaveX (N— 1)} /N (1 6)

S 940では、カウンタの確認を行う。 K= 100であれば、 S 950へ進み、それ以外の場合には、 S 970へ進む。 S 950では、基準値出力 ωθ (Ν) を保存する。

S 955では、そのときの誤差 e (N) を演算して保存する。 S 960では、 K=0としてタイマカウンタをリセットする。本実施形態では、角速度センサ 10のサンプリング周波数が 1 KHzであるの :、 0. 1 s e c毎に基準値出力を保存するので、基準値出力を間引くことになる。 S 970では、シャツタが閉じているカ否かを確認し、シャツタが開いていれば S 990へ進み、シャツタが閉じていれば S 980へ進む。

S 980では、最後の基準値出力 ωθ (Ν) を保存しておく。これは、基準値出力の間引き保存によりシャッタ秒時が速い場合、基準値出力の最初のボイントしか保存されないことを避けるためである。例えば、本実施形態では、サンプリング周波数 1 ΚΗ ζのときに 0.1 s e c毎に基準値出力を保存するので、 1/l O s e cよりも速いシャツタスピードでは、最初の基準値出力し力保存されておらず、点像関数が構成できなくなってしまうからである。また、この S 980では、 S 930において演算した基準値出力の平均値 ω 0 a V eも同時に保存しておく。

S 985では、そのときの誤差 e (N) を演算して保存する。 S 990及ぴ S 1000 では、カウンタを進め、 S 930に戻り、基準値出力の平均値演算を行う。

ここで、上述の間引き処理について説明する。

本実施形態では、画像回復処理に用いる点像関数は、基準値出力を基に演算される。基準値出力は、前述の様に 1Hz (画像回復を行う図 1 7のフローの場合）のカットオフ周波数を有する LP F出力であるため、手ブレの周波数成分より低い。したがって、点像関数演算に用いるデータ数も少なくする事が可能である。

点像関数演算を行う場合に、光学式補正系 500から送出されるブレ検出データの全てのデータについて点像関数を演算しようとすると、多大な演算量とメモリ容量が必要となつてしまう。

目標位置演算結果から得られるブレ検出データの個数は、例えば、基準値演算のサンプリング周波数が 1 k H zの時、 1秒分の基準値のデータ個数は、 N= 1000個であり、非常に多くのデータ量である。手振れの周波数は、 0. l〜10Hz程度であり、手振れ振動の基準値を算出する基準値演算部 3 1に設けられたローパスフィルタのカツトオフ周波数は、 1 H _Z程度である。つまり、点像関数演算部 100には、 1 H z以下の周波数が主成分となる。 1Hzの周波数を表すにはその 10倍程度、つまり 0. 1 s e c周期のデータで十分である。したがって、 ΙΚΗζサンプリングのデータを 1/100までデータの間引きを行う事が可能となる。

また、基準値出力演算のための LP Fのカットオフ周波数を変更する場合には、この力ットオフ周波数から間引き量を変更する必要がある。このような処理により、演算処理時間の短縮、メモリ容量等の節約を行うことができる _c 間引き処理した後に、画像再生装置により画像回復処理するために記録媒体にブレ情報を記録したり、画像再生装置 2にデータを転送したりすることが行われる。本実施形態では、間引き処理により画像回復処理に必要な最低のデータ個数を記録や転送することにより、転送時間、演算処理時間の短縮、とりわけメモリ容量の節約に大きな効果を奏することができる。

ここで、図 1 7の S 7 5 0において行われる点像関数演算部 1 0 0の動作について説明する。

光学式補正系 5 0 0によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（プレ補正残差の発生）という問題については、従来技術の説明において述べた。このようなブレ補正残差が発生する原因は、主に基準値によるところと、ブレ補正レンズの実際の駆動位置と駆動目標との間に生じる誤差によるところが大きい。そこで、本実施形態における点像関数演算部 1 0 0では、基準値を基に点像関数を算出し、関数補正部 1 0 5において、この点像関数を誤差で補正する。ここで補正した点像関数は、画像回復演算部 2 1 0に送信される。画像回復演算部 2 1 0は、この送信された補正後の点像関数を基に画像回復演算を行い、ブレ補正レンズ 7 0のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ捕正効果の高い高画質な画像を得ることができる。次に、画像再生装置 2の動作について説明する。

図 2 0は、画像再生装置 2の基本動作を示すフローチャートである。

画像再生装置 2には、画像回復を行うためのブレ補正プログラムがすでにインストールされているものとする。

先に示したように、本実施形態では、カメラ側の画像データは、転送ケーブル 3 0 0を介して画像再生装置 2に転送される。

図 2 0では、既に画像の転送が行われてブレ補正（画像回復処理）プログラムが立ち上がり、メニュー画面表示されているものとする。

S 2 0 1 0では、回復処理ポタンをマウス等の入力装置でクリックする等により、画像回復を行うフローに入る。 S 2 0 2 0では、予めカメラ側で回復処理する対象の画像であると判断された画像には、ブレマークが付与され記録されているので、再生時において画像読み込み動作開始とともにこのブレマークが付与されている画像のみが読み出されて表示される。 S 2 0 3 0では、画像又は像ブレに関する各種パラメータを見ながら利用者が画像回復処理を実行する画像を選択し、表示する。 S 2 0 4 0では、選択された画像に関し、画像回復のために必要なパラメータであるブレ軌跡データ及び点像ブレをより詳細に表示する。具体的には、画像表示部（ディスプレィ） 2 2 0上にブレ軌跡データや点像ブレなどのブレ補正力メラ 1により記録された補正情報や撮影情報などを表示し、操作者が適宜ブレ軌跡データを画像表示部 2 2 0上で直接操作することができる。

図 2 1及び図 2 2 ( a ) 〜（c ) は、具体的な画像表示及ぴ各種パラメータの操作例を示す図である。図 2 2 ( a ) はブレ軌跡データを示し、図 2 2 ( b ) は粗調整操作モードにおけるブレ軌跡データ、図 2 2 ( c ) は微調整操作モードにおけるブレ軌跡データを示している。

S 2 0 5 0では、画像回復を行うときの上記パラメータを任意に変更、設定する。 S 2 0 6 0では、 S 2 0 5 0において設定したパラメータに従い回復処理を実行する。 S 2 0 7 0では、画像再生装置 2の画像表示部 2 2 0上に回復処理する前のブレ画像と回復処理した回復画像とを比較表示する。 S 2 0 8 0では、画像回復前のブレ画像と回復画像後の回復画像とを目視にて比較し、回復画像でよいか否か（再度画像回復を行う力否か）を判断する。回復画像でよい場合には、 S 2 0 8 5へ進み、再度画像回復を行う場合には、 S 2 0 4 0へ戻る。

S 2 0 8 5では、回復画像及びパラメータを保存するか否かの判断を、利用者が判断して決定する。回復画像及びパラメータを保存する場合には、 S 2 0 9 0へ進み、保存しない場合には終了する。 S 2 0 9 0では、回復画像及びパラメータを上書き保存するか否か利用者が判断して選択指示する。上書き保存しない場合は、 S 2 1 1 0へ進み、上書き保存する場合は S 2 1 0 0に進む。また、上書き保存する場合には、上書きされて消されるデータ（既に保存されているデータ）の選択も併せて行う。

S 2 1 0 0では、原画像に対応して保存されている過去の回復画像及びパラメータ（S 2 0 9 0において上書きされる選択がされたデータ）を削除する。 S 2 1 1 0では、回復画像と、今回の画像回復処理に使用した新たなパラメータと原画像に関連づけて保存する。

このステップでは、回復前の原画像（ブレ画像）を保存したファイルと、パラメータを保存したファイル、及ぴ、回復画像の 3種類のファイルを、それぞれ別のファイルとし、パラメータを保存したフアイルに、原画像を保存したフアイル及び回復画像を保存したフアイルに関する情報を書き込んでおく。後に画像再生装置 2においてパラメータを保存したファイルを開くと、関違付けされている原画像を保存したファイルと回復画像を保存したファイルも開き、表示するようになっている。

図 2 3は、 S 2 1 1 (Dにおいて保存された回復画像、パラメータ及び原画像の関係を表した模式図である。

図 2 3に示すように、本実施形態では、 1つの原画像に関連付けられた回復画像とパラメータとの組み合わせが、複数存在することができる。

このようにすることで、画像回復処理を何回行つてもパラメータが画像に関連づけて保存されているため、混乱することなくスムーズに作業を進めることができる。

なお、回復画像又はパラメータと原画像の保存は、本実施形態に示した形態に限られず、様々な形態が実施可能である。これらの組み合わせを以下の表 1に示す。

表 1

表 1中の N o . :！〜 6は、原画像を保存しない形態である。

例えば、回復結果に満足して、再度画像回復を行わないような場合には、原画像の必要性が全くない場合があり、このような場合に、 N o . l , 2 , 5， 6等の形態が有効である。一方、原画像を回復処理してはみたものの、得られた回復画像に満足できずに、原画像及ぴ回復画像共に不要となつた場合であって、その後に別の原画像を回復処理するときの参考としてパラメータを保存しておきたいような場合に、 N o . 3 , 4の形態が有効である。表 1中の N o . 7〜1 2は、原画像を保存する形態である。これらの内の N o . 7 , 8の形態については、上述した実施形態である。

例えば、画像再生装置 2の画像回復演算部 2 1 0の処理速度が高速な場合には、回復画像を保存しなくても、原画像に関連づけてパラメータのみを保存することにより、必要な場合にすぐに保存しているパラメータ及び原画像を用いて画像回復を行い回復画像を表示することができる。したがって、上述の実施形態と同様な使い勝手を保ちつつ、記録媒体などの容量を節約することができる（N o . 9， 1 0 )。

また、回復結果に満足して、再度同条件の画像回復を行う必要がなレ、が、別のパラメ一タで画像回復を改めて実施することができるように、念のため原画像を保存しておくような場合に、 N o . 1 1 , 1 2の形態が有効である。

なお、上述の全ての形態に対して、保存方法として新規保存と上書き保存が選択可能でめる。

図 2 1に示す例では、画像表示部 2 2 0上には、回復処理する前のブレ画像と回復処理した回復画像、点像関数に関する情報とブレ軌跡データとがそれぞれ対応づけてウィンドゥ表示されている。このように同一画面上に比較して表示することにより、操作者が直感的にどの個所を修正すればよいかが一目にして判断することができる。

また、図 2 1の右下に表示されている部分には、ブレ軌跡データの操作を行うことができる表示が行われている。本実施形態では、このようにして、画像表示部 2 2 0上に表示されているブレ軌跡データをマウスなどを用レ、て局所的に操作することができる。このように操作されたブレ軌跡データに基づいて再度回復処理を実行し、より詳細な比較判断をすることができる。

また、本実施形態では、図 2 2 ( a ) に示す、得られたブレ軌跡データを、マウス指示点 P 0を基準に縮小 Z拡大することにより、図 2 2 ( b ) に示す画像データ操作の粗調整、図 2 2 ( c ) に示す微調整を行うことができる。図 2 2 ( c ) は、微調整モードにした例であり、データ数を細かく操作することができるため、得られた回復画像のパラメータに対する評価がし易くなり、画像操作自由度を高められるとともに効率的な処理を行うことができる。

従来、点像関数演算では、角速度センサ 1 0などのセンサ出力から得られた出力を直接演算に用いていたので、非常に多くの誤差要因が点像関数に含まれ、画像表示操作しても高画質な画像を得ることは困難であった。これに対し、本実施形態では、点像関数演算は、光学式ブレ補正動作によりブレ補正されたノイズ誤差の少ない出力データを用いて画像回復処理を行うので、非常に高画質の回復画像が得られる。また、ブレ軌跡データや点像データなどを、例えば、マウスなどを用いて直接画像を操作することができ、画像回復処理に用いるパラメータの画像回復に対する効果の度合いも評価し易くなり、効率的な処理作業をすることができる。

このように、本実施形態では、画像に関連づけてブレ情報を記録しているため、画像再生装置 2 (画像閲覧ソフト）により画像を閲覧するだけでブレ情報が利用者にわかるようになっている。したがって.、.画像回復する前に画像とブレ情報とを利用者が関連づけする必要がなくなり、作業効率が向上する。また、画像回復が必要か否かの情報もブレマークにより表示されるため、さらに作業効率がよくなる。

本実施形態によれば、ブレ補正レンズ 7 0の実駆動位置を検出し、駆動目標位置との差を誤差として求め、この誤差を反映した点像関数を演算するので、この点像関数を用いて画像回復を行うことにより、ブレ補正レンズ 7 0の駆動誤差によるブレ補正残差についても画像回復により補正することができ、ブレ補正効果を高めることができる。

なお、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。

例えば、本実施形態では、基準値演算にデジタルローパスフィルタを用いる例を示したが、これに限らず、移動平均を行うなど他の手法により基準値演算を行ってもよい。

本実施形態では、画像回復を行うか否かに応じて L P Fのカツトオフ周波数を変更する例を示したが、これに限らず、画像回復を行うか否かに応じて L P Fのカットオフ周波数を変更しなくてもよい。

本実施形態では、ブレ補正カメラ 1と画像再生装置 2とを転送ケーブル 3 0 0を介して接続し、データの送受信を行う例を示したが、これに限らず、例えば、ブレ補正カメラ 1 により撮影された画像とその画像に対応する点像関数やその他の画像回復処理に必要なパラメ一タ及ぴ撮影情報などが記録された汎用の記録媒体を用いてもよいし、無線通信により伝えるようにしてもよい。

本実施形態において、回復結果演算部 2 3 0は、画像再生装置 2に設けられている例を示したが、これに限らず、例えば、画像回復演算部を備えるカメラの場合には、回復結果演算'部がカメラに設けられていてもよい。

本実施例において、データの間引き処理は、点像関数演算前の処理とした例を示した力これに限らず、点像関数演算後にデータの間引き処理を行つてもよレ、。

本実施例において、ブレ補正動作モード選択スィツチ 1 9 4は、 3ポジションのスィッチである例を示した。しかしこれに限らず、例えば、「光学式補正動作モード」と「画像回復動作モード」とをそれぞれ O N/ O F Fすることができるスィッチであってもよいし、ソフトウェア的なスィッチであってもよい。このような場合、「光学式補正動作モード」を選択しない状態で、「画像回復動作モード」を選択すると、警告音を発生したり、警告表示を表示したり、又は、画像に関連して光学ブレ補正が行われていないことを示す警告マークを付すなど、使用者に対して警告を行うようにしてもよい

本実施形態において、画像回復の適否を判断した結果、画像回復を行わないと判断した場合には、点像関数などのブレ情報を演算しなかつたり、記録保存しなかつたりする例を示したが、これに限らず、例えば、これらブレ情報の記録は行い、画像回復に適さない画像である旨の告知（警告）を行うマークを付与するようにしてもよいし、ブレ情報を記録保存しなかつた旨を示すマークを付与してもよい。

本実施形態において、原画像を保存したファイルと、パラメータを保存したファイル、及び、回復画像の 3種類のファイルを、それぞれ別のファイルとし、パラメータを保存したファイルに原画像を保存したファイル、及ぴ、回復画像を保存したファイルに関する情報を書き込んでおくようにした例を示した。し力しこれに限らず、例えば、これら 3種のデータを 1つのファイルとして保存するようにしてよいし、 3種のデータの関連付けに関する情報を別ファイルに保存し、アプリケーションソフト上でこの別ファイルを参照して 3種のデータの関連付け表示などを行うようにしてもよい。

以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。点像分布関数演算部を備えた力メラと、画像回復演算部を有した外部装置とを備えるので、演算量の大きな画像回復をカメラにより行う必要が無く、カメラを安価にすることができ、また、カメラの消費電力を少なくすることができる。

点像分布関数演算部により演算された点像分布関数を画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段を備えるので、煩雑な作業を行うことなく、外部装置による画像回復を容易に行うことができる。

点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算するので、ブレ捕正光学系によるブレ捕正で補正しきれなかったブレを点像分布関数とすることができ、ブレ補正光学系によるブレ補正で補正しきれなかったブレを画像回復により補正することができる。

画像データ、及ぴ、点像分布関数を受け取るデータ入力部と、画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレを含む画像データに対して、点像分布関数を用いて画像回復を行い、像ブレを撮影後に補正することができる。

画像データ、及び、点像分布関数を受け取るデータ入力手順と、画像回復を行い像ブレを補正する画像回復演算手順とを備えるブレ捕正プログラムであるので、汎用のコンビュ —タを用いて画像回復を行うことができる。したがって、専用の外部装置を用いることなく、画像回復を行うことができ、全体として低コストのシステムとすることができる。点像分布関数の演算に使用する基準値及び Z又は演算後の点像分布関数の情報量を減少させる情報量減少部を備えるので、演算処理時間の短縮、メモリ容量等の節約を行うことができ、高速な演算処理部、大容量の記録媒体、高速な記録手段や高速な通信手段等を必要とせずに、画像回復を行うことができる。

情報量減少部は、基準値及び Z又は演算後の点像分布関数のデータを間引くことにより、情報量を減少させるので、 '簡単かつ確実に情報量を減少させることができる。

情報量減少部は、画像回復演算に必要な情報量を確保するように情報量を減少するので、画像回復後の画質を劣ィ匕させることなく、高画質な回復画像を得ることができる。

画像回復演算部における画像処理に用いたパラメ一タ及び Z又は回復画像を、原画像に関連付けて保存する回復結果保存部又は回復結果保存手順を備えるので、画像回復時に必要なパラメータを利用者が変更する場合に、画像データ及びパラメータ設定を整理して管理することを容易に行うことができる。

回復結果保存部は、複数組の回復画像に対応した複数のパラメ一タ及ぴ Z又は回復画像を保存することができるので、パラメータを変更しながら画像回復を複数回試行した場合であっても、試行の履歴を残すことができ、容易に整理を行うことができる。

ブレ補正制御部は、ブレ補正モード選択部の選択状態に応じて、ブレ補正光学系の制御内容を変更するので、画像回復を行う場合に適した光学式ブレ補正動作を行うことができる。

ブレ補正制御部は、ブレ補正モード選択部の選択状態に応じて、基準値の演算方法を変えることにより、ブレ補正光学系の制御内容を変更する。これにより、画像回復を行う場合に光学式ブレ捕正動作のブレ補正量を変更することができ、光学式ブレ補正動作のブレ補正量を減少させることにより、より大きな手振れに対しても、適正なブレ補正動作を行うことができる。また、残る像ブレは、画像回復によりブレ捕正を行うことができるので、十分にブレ補正された高画質な画像を得ることができる。

ブレ補正制御部は、ローパスブイルタのカットオフ周波数を変更することにより、ブレ補正光学系の制御内容を変更するので、光学式ブレ捕正動作のブレ補正量の変更を容易に行うことができ、本発明の実施を容易に行うことができる。

ブレ補正制御部は、ブレ補正モード選択部が画像回復を行う選択状態の力ットオフ周波数を、ブレ補正モード選択部が画像回復を行わない選択状態の力ットオフ周波数よりも高周波数側に変更するので、画像回復を行う場合に光学式ブレ捕正動作のブレ補正量を減少させることとなり、より大きな手振れに対しても、適正なブレ捕正動作を行うことができる。

画像回復モードを行うとの適否を判断する画像回復判断部を備えるので、画像回復を行うことにより画質の改善が望めるときに画像回復を行レ、、無駄な画像回復を行うことを防止することができる。

画像回復判断部は、振動検出信号に基づいて画像回復モードを行うことの適否を判断するので、像ブレが大きすぎる場合、及び、像ブレが殆ど発生していない場合を判断することができる。

画像回復判断部は、シャッタ速度に基づいて画像回復モードを行うことの適否を判断するので、像ブレが生じるおそれがあるシャツタ速度の場合に、画像回復を行うことができる。

画像回復判断部は、撮影光学系の焦点距離に基づいて画像回復モードを行うことの適否を判断するので、像ブレが生じるおそれがある焦点距離の場合に、画像回復を行うことができる。

画像回復判断部は、点像分布関数に基づいて画像回復モードを行うことの適否を判断するので、露光中のブレ量変化に対応して画像回復の要不要を判断することができるとともに、より正確な判断を行うことができる。

画像回復判断部が画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段を備えるので、撮影者が撮影状態を容易に把握することができ、使い勝手をよくすることができる。

画像回復判断部が画像回復モードを行うことが不適であると判断したときは、画像回復モードを実行しないので、無駄に演算処理などを行わず、処理速度、消費電力などの面で有効である。

画像回復判断部が画像回復モードを行うことが不適であると判断したときは、点像分布関数を保存しないので、メモリ、記憶媒体の容量を節約することができる。

ブレ補正モード選択部は、画像回復モードを選択するときには、光学式ブレ補正モードも併せて選択するので、画像回復を行う像のブレを光学式ブレ補正により低減することができ、画像回復を行う場合に確実に高画質な画像を得ることができる。

ブレ補正モード選択部は、光学式ブレ補正モードを選択しない状態では、画像回復モードを選択することができないので、誤って光学式ブレ補正を行わない状態で撮影した画像を画像回復することを防止できる。したがって、画像回復を行う場合には常に高面質な画像を得ることができる。ブレ補正モード選択部は、光学式ブレ補正モードを選択しない状態で、画像回復モードを選択すると、警告を行うで、誤って光学式ブレ補正を行わない状態で撮影した画像を画像回復することを防止できる。したがって、画像回復を行う場合には常に高画質な画像を得ることができる。 - 点像分布関数演算部による点像分布関数の演算は、光学式ブレ補正手段を動作させることにより実行可能となるので、画像回復を行う像のブレを光学式ブレ補正により低減することができ、演算される点像分布関数は、画像回復に必要な情報を十分に含むものとなること力ら、画像回復を行う場合には常に高画質な画像を得ることができる。

<第 4実施形態 >

以下に、図 2 4を用いて本発明の第 4実施形態を説明する。

第 4実施形態は、第 3実施形態における図 1 7中の S 6 8 0 (画像回復判断部）に相当する動作を、点像関数演算（S 7 5 0 ) を行った後に行う点が、第 3実施形態と異なっており、他の部分は第 3実施形態と共通である。よって、前述した第 3実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

S 7 5 0において点像関数演算を行った後、 S 7 5 5では、画像回復の適否（画像回復動作モードを行うことの適否）の判断を行う。このステップは、第 3実施形態における図 1 7の S 6 8 0と同様な目的を有する動作（画像回復判断部としての動作）であるが、判断手法が異なっている（図 2 5参照）。 S 7 5 5における判断の結果、画像回復を行うと判断した場合には、 S 7 6 0へ進み、画像回復を行わないと判断した場合には、 S 6 4 0 へ戻る。

図 2 5は、点像関数に基づいて画像回復を行うか否かを判断する画像回復判断部の詳細な動作を示すフローチャートであり、第 3実施形態における図 1 8に相当する図である。

S 5 3 1 0では、点像関数に基づいて画像回復動作モードを行うことの適否の判断を行う。判断の結果、画像回復を行う場合には S 5 3 2 0へ進み画像回復ありの露光シーケンス（図 2 4における S 7 6◦) へ進む。一方、画像回復を行わない場合には S 5 3 3 0へ進む。

点像関数に基づレ、て行う画像回復動作モードを行うことの適否の判断の、具体的な形態としては、例えば、点像関数の幅を算出し、この幅が所定量（例えば、 3 0 μ ιη) よりも小さい場合に画像回復を行うこととする手法が挙げられる。ここで、点像関数の幅は、例えば、点像関数に外接する長方形を求め、この長方形に接する対角線長を点像関数の幅とすることができる。

S 5 3 3 0では、画像 JH復動作を行わない旨の警告 ·表示（告知）を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。 -

S 5 3 4 0では、回復処理無しの露光シーケンス（図 2 4における S 6 4 0 ) へ進む。第 3実施形態では、点像関数演算を行う前に、ブレ検出量、シャツタ速度、焦点距離等の情報を用いて画像回復の適否を判断していた。し力し、これらの情報は、レリーズボタンを半押しから全押しまでの間に得られた情報であるので、露光中の振動を予想して判断していることになり、レリーズボタンの全押しから露光終了までの間にブレ量が変化した場合には、適正な判断ができない場合がある。そこで、本実施形態では、露光中に得られた情報を用いて演算される点像関数に基づいて画像回復動作モードを行うことの適否の判断を行うこととして、撮影中の実際の振動情報を反映した判断を行えるようにしている。また、点像関数から像面における像ブレ量が具体的な数値として得られるので、画像回復の要 Z不要をより正確に判断することができる。

本実施形態によれば、点像関数に基づいて画像回復動作モードを行うことの適否の判断を行うので、露光中のブレ量変化に対応して画像回復の要不要を判断することができるとともに、より正確な判断を行うことができる。

以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。

画像回復モードを行うことの適否を判断する画像回復判断部を備えるので、画像回復を行うことにより画質の改善が望めるときに画像回復を行い、無駄な画像回復を行うことを防止することができる。

画像回復判断部は、振動検出信号に基づいて画像回復モードを行うことの適否を判断するので、像ブレが大きすぎる場合、及び、像ブレが殆ど発生していない場合を判断することができる。 .

<第 5実施形態 >

第 5実施形態は、撮影レンズ部分が交換可能な交換レンズタイプのカメラとした形態であり、第 3実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

図 26は、本発明によるブレ補正力メラの第 5実施形態のシステム構成を示すブロック図である。

カメラボディ 101には、ボディ側制御部 8 OA, 電源供給部 90，点像関数演算部 1 00 , 撮像部 1 10，画像記録部 120 , ィンターフェイス部 130，ブレ補正モード判断部 145，露出制御部 1 50, 閃光制御部 1 80，操作部 1 90等が設けられている。交換レンズ 102には、レンズ側制御部 8 OB, RAMI 21, 合焦レンズ位置検出部 160, 焦点距離検出部 1 70，ブレ補正モード選択スィツチ 194，光学式補正系 50 0等が設けられている。

また、カメラボディ 10 1と交換レンズ 102とが接続される部分には、信号伝達部 3 10が設けられており、カメラボディ 101と交換レンズ 102との間で信号のやりとりが可能となっている。'

画像再生装置 2には、関数補正部 240が設けられている。

次に、本実施形態におけるカメラボディ 101及び交換レンズ 102の撮影時における動作について説明する。

なお、第 3実施形態において説明したように、ブレ補正モード選択スィツチ 1 94は、「ブレ捕正 OFFモード」「光学式補正動作モード」「画像回復動作モード」の 3モードを選択可能なスィッチであるが、ここでは、本発明の説明に関連する「光学式補正動作モード」「画像回復動作モード」の動作についてのみ説明を行うものとする。

図 2 7及び図 2 8は,、 _本実施形態におけるカメラボディ 1 0 1及び交換レンズ 1 0 2の撮影時における動作の流れについて示したフローチャートであり、通常の単写レリーズの場合のブレ補正に関する部分のみを示している。なお、紙面の都合上、フローチャートを図 2 7と図 2 8に分割して示している。また、これらのフローにおいて、図中の左側に力メラボディ 1 0 1側のフロー（S 3 0 0 0番台）を示し、右側に交換レンズ 1 0 2側のフロー ( S 4 0 0 0番台）を示し、これらの間を破線で結ばれた動作は、略同時点における動作であることを示すものとする。

S 3 0 1 0では、交換レンズ 1 0 2に対して電源供給部 9 0の電源使用を許可する。電源使用許可を得た（S 4 0 1 0 ) 交換レンズ 1 0 2は、 S 4 0 2 0において、角速度センサ 1 0及ぴその他の回路に電力を供給する。

S 3 0 2 0では、半押しスィッチ 1 9 1が O Nしているか否かを判断し、半押しスイツチ 1 9 1が O Nの場合には S 3 0 3 0へ進み、半押しスィッチ 1 9 1が O F Fの場合には、この S 3 0 2 0における判断を繰り返す。 S 3 0 3 0では、半押しスィツチ 1 9 1の〇N の間に行われるブレ補正（以下、半押しブレ補正）動作の開始を指示するコマンドをレンズ側へ送信する。

半押しブレ補正開始コマンドを受信した（S 4 0 3 0 ) 交換レンズ 1 0 2では、 S 4 0

4 0において、ブレ捕正レンズ 7 0の口ックを解除して、半押しブレ捕正動作を開始する。

S 3 0 4 0では、全押しスィッチ 1 9 2が O Nしているか否かを判断し、全押しスイツチ 1 9 2が〇Nの場合には S 3 0 5 0へ進み、全押しスィツチ 1 9 2が O F Fの場合には、

5 3 0 3 0に戻り、この S 3 0 4 0における判断を繰り返す。 S 3 0 5 0では、全押しスイッチ 1 9 2の O Nを受けて、露光中ブレ補正の開始を指示するコマンドをレンズ側へ送信する。 S 3 0 6 0では、露光準備、例えばミラーアップ等を行い、 S 3 0 7 0において露光を開始し、 S 3 0 8 0で露光を終了する。

露光中ブレ補正開始コマンドを受信した（S 4 0 5 0 ) 交換レンズ 1 0 2では、 S 4 0

6 0において、露光中ブレ補正動作を開始する。また、この S 4 0 6 0において交換レンズ 1 0 2では、この露光中ブレ補正動作を行いながら位置検出部 6 0によりブレ補正レンズ 7 0の実駆動位置を検出し、少なくとも露光開始時点から終了時点までの間、目標駆動位置との差を誤差情報（誤差データ）として、また、角速度センサ 1 0からの情報を振動データとして R AM I 2 1 へ格納し続ける。

S 3 0 9 0では、ブレ補正の停止を指示するコマンド（ブレ捕正停止コマンド）を交換レンズ 1 0 2へ送信する。ブレ補正停止コマンドを受信した（S 4 0 7 0 ) 交換レンズ 1 0 2では、 S 4 0 8 0においてブレ補正制御を停止する。

S 3 1 0 0では、露光後の処理、例えば、ミラーダウン及ぴチャージ等を行う。 S 3 1 1 0では、ブレ補正レンズ 7 0のロックを指示するブレ捕正レンズロックコマンドを交換レンズ 1 0 2へ送信する。ブレ補正レンズロックコマンドを受信した（S 4 0 9 0 ) 交換レンズ 1 0 2では、 S 4 1 0 0においてブレネ詹正レンズを口ックする。

図 2 8へ進んで、 S 3 1 2 0では、交換レンズ 1 0 2に設けられたブレ捕正モード選択スィッチ 1 9 4により「光学式補正動作モード」（光学式のブレ補正のみ行う）が選択されているか、「画像回復動作モード」（光学式のブレ補正と画像回復を行う）が選択されているのかをカメラボディ 1 0 1に設けられたブレ捕正モード判断部 1 4 5において判断する。「画像回復動作モード」であれば、 S 3 1 3 0へ進み、「光学式補正動作モード」であれば、 S 3 1 7 0へ進む。

また、交換レンズ側でも、 S 3 1 2 0における動作に対応して、「画像回復動作モード」であれば、 S 4 1 2 0へ進み、それ以外の場合は S 4 1 5 0へ進む（S 4 1 1 0 )。

S 3 1 3 0では、先に R AM I 2 1へ格納した誤差データと振動データを要求するコマンドを交換レンズ 1 0 2へ送信する。誤差データと振動データを要求するコマンドを受信した（S 4 1 2 0 ) 交換レンズ 1 0 2は、 S 4 1 3 0において誤差データをカメラボディ 1 0 1へ送信する。

S 4 1 4 0では、両データの送信を完了したか否かを判断し、送信を完了した場合には S 4 1 5 0へ進み、送信を完了していない場合には、 S 4 1 3 0へ戻り誤差データの送信を続ける。誤差データと振動データを受信した（S 3 1 4 0 ) カメラボディ 1 0 1では、 S 3 1 5 0において、両データの受信を完了したか否かを判断し、受信を完了した場合には S 3 1 6 0へ進み、受信を完了していない場合には、 S 3 1 4 0へ戻り両データの受信を続ける。

S 3 1 5 5では、受け取った振動データにより点像関数を演算する。 S 3 1 6 0では、撮影した画像に対して誤差データ及び点像関数を関連付けて画像記録部 1 2 0へ保存する。 S 3 1 7 0では、画像記録部 1 2 0に撮影画像を保存する。なお、このステップの場合には、 S 3 1 6 0と異なり、誤差データは保存しなレ、。 S 3 1 8 0では、交換レンズ 1 0 2に対して電源遮断を促進するコマンドを送信し、その後、 S 3 1 9 0においてカメラボディ 1 0 1の電源を O F Fして動作を終了する。

電源遮断を促進するコマンドを受信した（S 4 1 5 0 ) 交換レンズ 1 0 2では、 S 4 1 6 0において角速度センサ 1 0その他の回路を O F Fし、動作を終了する。

保存された画像データ、点像関数演算部 1 0 0により演算された点像関数、及び、誤差データは、画像再生装置 2へ送信され、関数補正部 2 4 0において、点像関数を誤差データに基づいて捕正する。

その後、画像回復演算部 2 1 0において画像回復が行われる。このとき、誤差データによる補正後の点像関数を用いて画像回復を行う。このようにして得られる回復面像は、ブレ補正レンズ 7 0の追従誤差を考慮したブレ補正が行われており、ブレ捕正効果の高い画像を得ることができる。

本実施形態によれば、レンズ交換可能なカメラシステムにおいて、ブレ補正レンズ 7 0 の駆動誤差を検出し、画像回復に利用することとしたので、ブレ補正レンズの駆動特性が交換レンズ毎に異なっている場合において、いずれの交換レンズを使用しても最良のブレ補正効果を得ることができる。

以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。

第 1及び第 3実施形態において、データの間引き処理を行い、データ量を減少させる例を示したが、これに限らず、データの間引きを行わずに、基準値の演算 ·保存、及び、誤差の演算 ·保存を行ってもよい。

本実施形態において、角速度センサ 1 0からの出力を用いた基準値又は振動データにより点像関数を演算し、これを誤差情報により補正する例を示したが、これに限らず、例えば、基準値と振動データ両方から関数を演算して補正するようにしてもよい。

また、基準値と振動データのいずれか一方、又は、両方と誤差情報により点像関数を求め、点像関数の捕正を行うことなく画像回復を行うようにしてもよレ、。

さらに、角速度センサ 1 0の出力を全く用いずに、誤差情報のみから点像関数を演算するようにしてもよレ、。この誤差情報のみから点像関数を演算する場合は、基準値や振動データは、格納しておいたり、通信で渡したりする必要がなくなるので、作業効率の向上、及び、作業時間の短縮を図ることができる。

本実施形態において、点像関数演算部 1 0 0は、カメラ 1のカメラボディ 1 0 1に備わつている例を示したが、これに限らず、例えば、点像関数演算部 1 0 0を画像再生装置 2 に備えてもよい。同様に、第 5実施形態において、関数補正部 2 4 0は、画像再生装置 2 に設けられている例を示したが、これに限らず、例えば、関数補正部をカメラ 1のカメラボディ 1 0 1に設けてもよい。このように、制御位置誤差に関する情報を利用する形態としては、複数の組み合わせが実施可能である。この組み合わせ例を、以下の表 2に示す, 表 2

表 2中の N o . 4が第 3実施形態に相当し、 N o . 5が第 5実施形態に相当している。表 2に示すレ、ずれの形態であっても、本発明の効果を同様に発揮することができる。また、表 2中の N o . 3 , 7， 1 0に示す形態によれば、上述のように基準値や振動デ —タは、格納しておいたり、通信で渡したりする必要がなく、作業効率の向上、及び、作業時間の短縮を図ることができる。

以上詳しく説明したように、本発明の実施の形態によれば、以下の効果を奏することができる。

制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ捕正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、撮像部により撮像された画像に対して制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレ捕正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。

制御位置誤差を用いて点像分布関数を補正する関数補正部を備え、画像回復演算部は、関数補正部による補正後の点像分布関数で処理することにより画像回復を行うので、プレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを捕正することができる。

制御位置誤差を利用して点像分布関数を演算する点像分布関数演算部を備えるので、ブレ補正光学系の駆動制御誤差を反映した点像分布関数を演算することができる。したがつて、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。産業上の利用の可能性

以上では、静止画を撮像するデジタルスチルカメラについて説明したが、動画を撮像するデジタルカメラにも同様に本発明を適用することができる。

Claims

請求の範囲

1 . プレネ慮正カメラシステムは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備える。

2 . 請求項 1に記載のブレ補正カメラシステムは、

点像分布関数を演算する点像分布関数演算部をさらに備え、

前記画像回復演算部は、前記画像を前記点像分布関数で処理することにより画像回復を行う。

3 . 請求項 2に記載のブレ補正力メラシステムは、

前記振動検出信号の基準値を演算する基準値演算部をさらに備え、

前記点像分布関数演算部は、前記基準値演算部の演算結果を基にして前記点像分布関数を演算する。

4 . 請求項 3に記載のプレ補正カメラシステムは、

前記振動検出部と、前記プレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部とを備えたカメラと、

前記画像回復演算部を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置とを備える。

5 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号に基づレ、て駆動され、像ブレを補正するブレ補正光学系と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記撮像部により撮像された画像を記録する画像記録部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部とを備える。

6 . 請求項 5に記載のブレ補正力メラは、

前記点像分布関数演算部により演算された前記点像分布関数を、前記画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段をさらに備える。

7 . 請求項 5又は請求項 6に記載のブレ補正力メラは、

8 . 画像回復装置は、

外部との通信及び/又は媒体を介して画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力部と、

前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算部とを備える。

9 . コンピュータ読み込み可能なコンピュータプログラム製品は、ブレ捕正用制御プログラムを有し、該制御プログラムは、

画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力命令と、

前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算命令とを有する。

1 0 . 請求項 9に記載のコンピュータプログラム製品は、

前記制御プログラムが記録された記録媒体である。

1 1 . 請求項 9に記載のコンピュータプログラム製品は、

前記制御プログラムがデータ信号として embodiedされた carrier waveである。

1 2 . ブレネ甫正カメラシステムは、振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号の基準値を演算する基準値演算部と、

前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補光学系と、

前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部と、

前記撮像部により撮像された画像に対して前記点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算部とを備える。

1 3 . 請求項 1 2に記載のブレ補正カメラシステムは、

前記点像分布関数演算部による点像分布関数の演算を、前記基準値を用いて行う力、前記振動検出信号を用いて行うかを切り替える点像分布関数演算切り替え部をさらに備える。

1 4 . 請求項 1 3に記載のブレ補正カメラシステムにおいて、

前記点像分布関数演算切り替え部は、前記ブレ補正光学系によるブレ補正動作を行うか否かを切り替えるブレ補正動作設定部を兼ねる。

1 5 . 請求項 1 2から請求項 1 4のいずれか 1項に記載のブレ補正カメラシステムにおいて、

前記ブレ捕正光学系によるブレ補正動作を行う場合には、前記点像分布関数演算部は、前記基準値を用いて点像分布関数を演算する。

1 6 . 請求項 1 2から請求項 1 4のいずれか 1項に記載のブレ補正カメラシステムにおいて、

前記ブレ補正光学系によるブレ補正動作を行わない場合には、前記点像分布関数演算部は、前記振動検出信号を用いて点像分布関数を演算する。 .

1 7 . 請求項 1 2に記載のブレ補正カメラシステムは、

前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部とを備えたカメラと、前記画像回復演算部有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置とを備える。

1 8 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号の基準値を演算する基準値演算部と、

前記振動検出信号及び前記基準値に基づいて駆動され、像ブレを補正するブレ補正光学系と、

前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記撮像部により撮像された画像を記録する画像記録部と、

前記基準値、又は、前記振動検出信号を用いて点像分布関数を演算する点像分布関数演算部とを備える。

1 9 . 請求項 1 8に記載のブレネ翁正力メラは、

2 0 . プレネ慮正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号の基準値を演算する基準値演算部と、

前記基準値及び前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、

前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像回復演算に必要な点像分布関数を前記基準値に基づいて演算する点像分布関数演算部と、

前記点像分布関数の演算に使用する前記基準値及び Z又は演算後の前記点像分布関数の情報量を減少させる情報量減少部とを備える。

2 1 . 請求項 2 0に記載のブレ補正力メラにおいて前記情報量減少部は、前記基準値及び Z又は演算後の前記点像分布関数のデータを間引くことにより、情報量を滅少させる。

2 2 . 請求項 2 0又は請求項 2 1に記載のブレ補正力メラにおいて、

前記情報量減少部は、画像回復演算に必要な情報量を確保するように情報量を減少する。

2 3 . ブレ補正カメラシステムは、

振動を検出して振動検出信号を出力する振動検出部と、

ブレ補正光学系を含む撮影光学系により形成された像を原画像として撮像する撮像部と、

前記原画像を保存する原画像保存部と、

画像処理に関するパラメータを変更可能であって、前記原画像に対して前記パラメータを用いて画像処理による画像回復を行い、像ブレを補正した回復画像を作成する画像回復演算部と、

前記画像回復演算部における画像処理に用いた前記パラメータ及びノ又は前記回復画像を、前記原画像に関連付けて保存する回復結果保存部とを備える。

2 4 . 請求項 2 3に記載のブレ補正力メラシステムは、

前記画像回復演算部は、前記画像を前記点像分布関数で処理することにより画像回復を行い、

前記パラメータは、前記点像分布関数を含む。

2 5 . 請求項 2 3又は請求項 2 4に記載のブレ補正カメラシステムにおいて、

前記回復結果保存部は、複数組の前記回復画像に対応した複数の前記パラメータ及ぴ Z 又は複数の前記回復画像を保存可能である。

2 6 . 請求項 2 4に記載のブレ補正力メラシステムは、

前記振動検出部と、前記振動検出信号に基づいて駆動され像ブレを補正する前記ブレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記振動検出信号の基準値を演算する基準値演算部と、前記原画像保存部とを備えた力メラと、前記画像回復演算部及び前記回復結果保存部を有し、前記力メラとは別体の装置であつて、前記原画像保存部によ J3記録された前記原画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置とを備える。

2 7 . 画像回復装置は、

外部との通信及び/又は媒体を介して原画像データ、及び、前記原画像データの撮像時に得られた点像分布関数を受け取るデータ入力部と、

画像処理に関するパラメータを変更可能であって、前記原画像データに対して前記点像分布関数を含む前記パラメータを用いて画像処理による画像回復を行い、像ブレを補正した回復画像を作成する画像回復演算部と、

前記画像回復演算部における画像処理に用いた前記パラメータ及び Z又は前記回復画像を、前記原画像に関連付けて保存する回復結果保存部とを備える。

2 8 . コンピュータ読み込み可能なコンピュータプログラム製品は、ブレ補正用制御プロダラムを有し、該制御プログラムは、

原画像データ、及び、前記原画像データの撮像時に得られた点像分布関数を受け取るデータ入力命令と、

画像処理に関するパラメータを変更可能であって、前記原画像データに対して前記点像分布関数を含む前記パラメータを用いて画像処理による画像回復を行い像ブレを捕正した回復画像を作成する画像回復演算命令と、

前記画像回復演算手順における画像処理に用いた前記パラメータ及び/又は前記回復画像を、前記原画像データに関連付けて保存する回復結果保存命令とを有する。

2 9 . 請求項 2 8に記載のコンピュータプログラム製品は、

前記制御プログラムが記録された記録媒体である。

3 0 . 請求項 2 8に記載のコンピュータプログラム製品は、

3 1 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、前記振動検出信号に基づいてブレ補正光学系を駆動して像ブレを捕正する光学的ブレ補正手段と、

前記像ブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、

前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを行うことの適否を判断する画像回復判断部とを備える。

3 2 . 請求項 3 1に記載のブレ補正カメラにおいて、

前記画像回復判断部は、前記振動検出信号に基づいて前記画像回復モードを行うことの適否を判断する。

3 3 . 請求項 3 1又は請求項 3 2に記載のブレ補正力メラにおいて、

前記画像回復判断部は、シャッタ速度に基づレ、て前記画像回復モードを行うことの適否を判断する。

3 4 . 請求項 3 1から請求項 3 3のいずれか 1項に記載のブレ補正カメラにおいて、前記画像回復判断部は、撮影光学系の焦点距離に基づいて前記画像回復モードを行うことの適否を判断する。

3 5 . 請求項 3 1に記載のブレ補正力メラにおいて、

前記画像回復判断部は、前記点像分布関数に基づいて前記画像回復モードを行うことの適否を判断する。

3 6 . 請求項 3 1から請求項 3 5のいずれか 1項に記載のブレ補正カメラは、

前記画像回復判断部が前記画像回復モードを行うことが不適であると判断したときに、その旨を告知する告知手段をさらに備える。

3 7 . 請求項 3 1から請求項 3 6のいずれか 1項に記載のブレ補正カメラにおいて、前記画像回復判断部が前記画像回復モードを行うことが不適であると判断したときは、前記画像回復モードを実行しない。

3 8 . 請求項 3 1から請求項 3 7のいずれか 1項に記載のブレ補正カメラにおいて、前記画像回復判断部が前記画像回復モードを行うことが不適であると判断したときは、前記点像分布関数を保存しない。

3 9 . ブレ捕正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号の基準値を演算する基準値演算部と、

前記基準値及び前記振動検出信号に基づレ、て駆動され、像ブレを補正するブレ補正光学系と、

前記振動検出信号及ぴ前記基準値に基づいて前記プレ補正光学系の動作を制御する駆動制御部と、

画像処理により像のブレを補正する画像回復に必要な点像分布関数を前記基準値に基づレヽて演算する点像分布関数演算部と、

前記ブレ補正光学系を用いてブレ補正を行う光学式ブレ捕正動作に加えて、前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを行うか否かを選択するブレ補正モード選択部とを備え、

前記駆動制御部は、前記ブレ補正モード選択部の選択状態に応じて、前記ブレ補正光学系の制御内容を変更する。

4 0 . 請求項 3 9に記載のブレ補正カメラにおいて、

前記駆動制御部は、前記ブレ補正モード選択部の選択状態に応じて、前記基準値の演算方法を変えることにより、前記ブレ補正光学系の制御内容を変更する。

4 1 . 請求項 3 9又は請求項 4 0に記載のブレ補正カメラにおいて、

前記基準値演算部は、口一パスフィルタを用いて基準値を演算し、

前記駆動制御部は、前記ローパスフィルタの力ットオフ周波数を変更することにより、前記ブレ補正光学系の制御内容を変更する。

4 2 . 請求項 4 1に記載のブレ補正カメラにおいて、

前記駆動制御部は、前記プレ補正モード選択部が画像回復を行う選択状態の前記カツトオフ周波数を、前記ブレ補正モード選択部が画像回復を行わない選択状態の前記カツトォフ周波数よりも高周波数側に設定する。

.4 3 . ブレネ正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号に基づいてブレ補正光学系を駆動して像ブレを補正する光学式ブレ補正手段と、

前記光学式ブレ補正手段によって補正しきれないプレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、

前記光学式ブレ補正手段を用レ、たブレ補正を行う光学式ブレ補正モード、及ぴ、前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ補正モード選択部とを備え、

前記ブレ捕正モード選択部は、前記画像回復モードを選択するときには、前記光学式ブレ補正モードも併せて選択する。

4 4 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記光学式ブレ補正手段によつて補正しきれないブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、

前記光学式ブレ補正手段を用いたブレ補正を行う光学式ブレ補正モード、及ぴ、前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ捕正モード選択部とを備え、

前記ブレ補正モード選択部は、前記光学式ブレ補正モードを選択しない状態では、前記画像回復モードを選択することができない。

4 5 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

'前記振動検出信号に基づレ、てプレ捕正光学系を駆動して像ブレを補正する光学式ブレ補正手段と、

前記光学式プレ補正手段によって補正しきれないブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部と、

前記光学式ブレ補正手 .を用いたブレ補正を行う光学式ブレ捕正モード、及び、前記画像回復によりブレ補正を行う又は前記画像回復によりブレ補正を行うための準備を行う画像回復モードを選択するブレ補正モード選択部とを備え、

前記ブレ補正モード選択部は、前記光学式ブレ補正モードを選択しない状態で、前記画像回復モードを選択すると、警告を行う。

4 6 . ブレ補正カメラは、

振動を検出して振動検出信号を出力する振動検出部と、

前記振動検出信号に基づいてブレ補正光学系を駆動して像ブレを捕正する光学式ブレ捕正手段と、

前記光学式ブレ捕正手段によって補正しきれないブレを画像処理により回復する画像回復に必要な点像分布関数を演算する点像分布関数演算部とを備え、

前記点像分布関数演算部による前記点像分布関数の演算は、前記光学式ブレ補正手段を動作させることにより実行可能となる。

4 7 . ブレ補正カメラシステムは、

像ブレを補正するブレ補正光学系と、

振動を検出して振動信号を出力する振動検出部と、

前記振動信号の基準値を演算する基準値演算部と、

前記ブレ補正光学系を駆動する駆動部と、

前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、

前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、

前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、

前記撮像部により撮像された画像に対して前記制御位置誤差を加味した画像処理による画像回復を行レ、像ブレを補正する画像回復演算部とを備える。

4 8 . 請求項 4 7に記載のブレ補正カメラシステムは、

画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、

前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部とをさらに備え、前記画像回復演算部は、前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行う。

4 9 . 請求項 4 7に記載のブレ補正力メラシステムは、

画像回復演算に必要な点像分布関数を演算する点像分布関数演算部をさらに備え、前記点像分布関数は、（a ) 前記基準値及び前記制御位置誤差、 ( b ) 前記振動信号及び前記制御位置誤差、 ( c )前記基準値及び前記振動信号及び前記制御位置誤差、又は、（ d ) 前記制御位置誤差に基づいて演算され、

前記画像回復演算部は、前記点像分布関数で画像処理することにより画像回復を行う。

5 0 . 請求項 4 8または請求項 4 9に記載のブレ補正カメラシステムは、

前記振動検出部と、前記ブレ捕正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部とを少なくとも備えた力メラと、

少なくとも前記画像回復演算部を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置とを備える。

5 1 . 請求項 4 8または請求項 4 9に記載のブレ補正カメラシステムは、

前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記基準値演算部と、画像を記録する画像記録部とを少なくとも備えた力メラと、

少なくとも前記点像分布関数演算部と、前記画像回復演算部とを有し、前記力メラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置とを備える。

5 2 . ブレ補正カメラは、

像プレを補正するブレ補正光学系と、

振動を検出して振動信号を出力する振動検出部と、

前記振動信号の基準値を演算する基準値演算部と、前記ブレ補正光学系を駆動する駆動部と、

前記ブレ補正光学系 _の位置を検出し位置信号を出力する位置検出部と、

前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、

前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、

前記制御位置誤差を用レヽて前記点像分布関数を補正する関数補正部と、

前記補正部により補正された前記点像分布関数を、前記画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備える。

5 3 . プレ捕正カメラは、

像ブレをネ甫正するブレ補正光学系と、

振動を検出して振動信号を出力する振動検出部と、

前記振動信号の基準値を演算する基準値演算部と、

前記ブレ補正光学系を駆動する駆動部と、

前記ブレ捕正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、

前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備え、

前記点像分布関数は、（a ) 前記基準値及び前記制御位置誤差、（b ) 前記振動信号及び前記制御位置誤差、 ( c )前記基準値及び前記振動信号及び前記制御位置誤差、又は、（ d ) 前記制御位置誤差に基づいて演算される。

5 4 . プレネ甫正カメラは、

像プレを補正するブレ補正光学系と、

振動を検出して振動信号を出力する振動検出部と、

前記振動信号の基準値を演算する基準値演算部と、

前記プレ補正光学系を駆動する駆動部と、

前記ブレ補正光学系の体置を検出し位置信号を出力する位置検出部と、

前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記プレ補正光学系の実駆動位置との差を、制御位置誤差として出力する制御位置誤差出力部と、

前記制御位置誤差を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段とを備える。

5 5 . 画像回復装置は、

ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、

前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算部とを備える。

5 6 . 画像回復装置は、 - ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ捕正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、

前記制御位置誤差を甩て前記点像分布関数を補正する関数補正部と、

5 7 . 画像回復装置は、

ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び Z又は、前記画像データの撮像時に得られた振動信号を、外部との通信及び Z又は媒体を介して受け取るデータ入力部と、

前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部とを備え、

前記点像分布関数は、（a ) 前記振動信号から求まる基準値及び前記制御位置誤差、 ( b ) 前記振動信号及び前記制御位置誤差、（c ) 前記基準値及び前記振動信号及び前記制御位置誤差、又は、（d ) 前記制御位置誤差に基づいて演算される。

5 8 . コンピュータ読み込み可能なコンピュータプログラム製品は、プレ補正用制御プロダラムを有し、該制御プログラムは、

ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を、外部との通信及び Z又は媒体を介して受け取るデータ入力命令と、

前記制御位置誤差を用いて前記点像分布関数を補正する関数補正命令と、

前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い、像ブレを補正する画像回復演算命令とを有する。

5 9 . コンピュータ読み込み可能なコンピュータプログラム製品は、ブレ補正用制御プロダラムを有し、該制御プログラムは、

ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を、外部との通信及ぴ Z又は媒体を介して受け取るデータ入力命令と、画像回復演算に必要像分布関数を演算する点像分布関数演算命令と、

6 0 . コンピュータ読み込み可能なコンピュータプログラム製品は、ブレ捕正用制御プロダラムを有し、該制御プログラムは、

ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び/又は、前記画像データの撮像時に得られた振動信号を、外部との通信及ぴ Z又は媒体を介して受け取るデータ入力命令と、

画像回復演算に必要な点像分布関数を、（a ) 前記振動信号から求まる基準値及び前記制御位置誤差、 ( b ) 前記振動信号及び前記制御位置誤差、（c ) 前記基準値及び前記振動信号及ぴ前記制御位置誤差、又は、（d ) 前記制御位置誤差に基づいて演算する点像分布関数演算命令と、

前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算命令とを有する。

6 1 . 請求項 5 8から請求項 6 0のいずれか 1項に記載のコンピュータプログラム製品は、前記制御プログラムが記録された記録媒体である。

6 2 . 請求項 5 8から請求項 6 0のいずれか 1項に記載のコンピュータプログラム製品は前記制御プログラムがデータ信号として embodiedされた carrier waveである。 ·