以下、本発明の好適な一実施形態について、図面を参照しながら詳細に説明する。
本実施形態の画像処理装置の一適用例である撮像装置の詳細な構成と動作について説明する。
本実施形態の撮像装置は、手ブレや撮像装置本体の揺れ等による像ブレを低減するために、前述した防振処理を行う構成を有している。本実施形態では、複数の防振処理のうち2種類以上の防振処理を同時に行うことで、高い防振効果及び高精度の防振を実現可能とする例を挙げる。本実施形態では、撮像光学系の全体または防振レンズ群を撮像光学系の光軸に直交する方向に動かす防振処理と、撮像素子を撮像光学系の光軸に直交する方向へ移動(シフト)、光軸周りに回転(ロール)させる防振処理を例に挙げる。以下の説明では、防振レンズ群を移動させることによる光学防振をレンズ防振と呼び、撮像素子をシフトやロール等させることによる光学防振をイメージャー防振と呼ぶことにする。本実施形態において、撮像装置等の揺れは、例えば該撮像装置に設けられた角速度センサや振動ジャイロセンサ等のブレ検知センサにより検出される。そして、撮像装置では、該ブレ検知センサから出力されるブレ検知信号に基づいて、レンズ防振とイメージャー防振による防振処理を行うことで、像ブレを低減する。
図1(a)は本実施形態の撮像装置1の中央断面図、図1(b)は本実施形態の撮像装置1の電気的構成を示すブロック図である。図1(a)及び図1(b)で同一の符号が付してあるものはそれぞれ対応している。
図1(a)及び図1(b)において、レンズユニット2はいわゆる交換レンズであり、撮像装置1の筐体に設けられている不図示のレンズマウント部を介して、撮像装置1に着脱可能となされている。図1(a)及び図1(b)は、撮像装置1にレンズユニット2が装着された状態を表しており、この状態の撮像装置1とレンズユニット2とは電気接点11により電気的に接続される。レンズユニット2は複数のレンズから構成された撮像光学系3を有しており、一部のレンズ群が防振レンズ群として設けられている。図中の一点鎖線は当該撮像光学系3の光軸4を表している。また、レンズユニット2には、防振レンズ群やフォーカスレンズ、絞り等を駆動するレンズ駆動部13と、レンズ駆動部13を制御するレンズシステム制御回路12とをも備えている。レンズ駆動部13は、防振レンズ群、フォーカスレンズ、および、絞りのそれぞれの駆動機構と、これらの駆動機構の駆動回路とを有している。レンズシステム制御回路12は、CPUやMPUなどのプロセッサーであり、電気接点11を介して撮像装置1のカメラシステム制御回路5と電気的に接続される。なお、本実施形態では、撮像光学系3は着脱可能な交換レンズであるレンズユニット2に設けられている例を挙げたが、これには限定されず、撮像光学系3は撮像装置と一体的に構成されていてもよい。
撮像装置1は、カメラシステム制御回路5、撮像素子6、画像処理回路7、メモリ回路8、表示装置9、操作検出回路10、シャッタ機構16、ブレ検知回路15、ブレ補正部14等を有して構成されている。電気接点11は、撮像装置1側の接点とレンズユニット2側の接点とからなる。カメラシステム制御回路5は、撮像装置1内の各部を制御し、また、電気接点11を介して接続されているレンズユニット2のレンズシステム制御回路12との間で各種情報をやり取りする。
ブレ検知回路15は、撮像装置1におけるピッチ方向、ヨー方向、光軸周りのロール方向の各方向の揺れを検知可能なブレ検知センサを備え、これらのブレ検知センサは角速度センサや振動ジャイロセンサなどからなる。ブレ検知回路15から出力されたブレ検知信号は、カメラシステム制御回路5に送られる。ブレ補正部14は、撮像装置1の撮像素子6を、撮像光学系3の光軸4に対して直交する平面内での移動(シフト)、光軸周りの回転(ロール)を可能とした駆動機構と、当該駆動機構の駆動回路とを有して構成されている。カメラシステム制御回路5は、CPUやMPUなどのプロセッサーであり、ブレ検知信号を基にブレ補正の目標値を生成し、その目標値に基づくブレ補正制御信号を生成してブレ補正部14に送る。ブレ補正部14の駆動回路は、ブレ補正制御信号を基に、撮像素子6を光軸4に対して直交する方向に移動(シフト)、光軸周りに回転(ロール)させる駆動信号を生成して駆動機構を動作させる。これにより、撮像素子6は、ブレ検知回路15にて検知されたブレを補正する方向に移動(シフト)や回転(ロール)等され、イメージャー防振処理が実現される。ブレ補正部14の駆動機構の構成とイメージャー防振時の制御の詳細については後述する。
また、カメラシステム制御回路5は、ブレ検知回路15からのブレ検知信号を基に、レンズユニット2の防振レンズ群によるブレ補正の目標値を生成する。そして、カメラシステム制御回路5は、その目標値を基に、防振レンズ群を光軸4に直交する方向に移動(シフト)させる制御信号を生成する。防振レンズ群を光軸4に直交する方向に移動(シフト)させる制御信号は、電気接点11を介してレンズシステム制御回路12に送られる。レンズシステム制御回路12は、カメラシステム制御回路5から送られてきた制御信号を基に、レンズ駆動部13を駆動する駆動制御信号を生成する。そして、レンズ駆動部13は、レンズシステム制御回路12からの駆動制御信号に基づいて、防振レンズ群を駆動する。これにより、レンズユニット2の防振レンズ群は、ブレ検知回路15にて検知されたブレを補正する方向に移動(シフト)され、レンズ防振処理が実現される。防振レンズ群の駆動制御に関する詳細は後述する。
また、レンズ防振とイメージャー防振の両方が同時に行われる場合、撮像素子6を移動させるブレ補正の目標値と、防振レンズ群を移動させるブレ補正の目標値とは、相互のブレ補正により防振を実現する目標値となされる。したがって、レンズ防振とイメージャー防振の両方が同時に行われる場合には、それら目標値に基づいて防振レンズ群の移動(シフト)及び撮像素子6の移動(シフトやロール)が行われることで、高い防振効果及び高精度の防振処理が実現される。
撮像装置1の撮像素子6は、CCDセンサやCMOSセンサなどを有し、レンズユニット2を介して撮像面上に結像された被写体像等を撮像する。なお、撮像素子6には、撮像面の前面に光学ローパスフィルタといわゆるベイヤ配列に対応したRGBカラーフィルタとが設けられている。撮像素子6から出力された撮像信号は、画像処理回路7に送られる。また、撮像素子6から出力された撮像信号は、画像処理回路7を介してカメラシステム制御回路5にも送られる。
カメラシステム制御回路5は、撮像信号を基に、フォーカス制御に用いるピント評価値や露光制御に用いる露光評価値を取得する。そして、カメラシステム制御回路5はピント評価値を基にフォーカス制御の指令をレンズシステム制御回路12に送り、レンズシステム制御回路12はフォーカス制御の指令に基づき、レンズ駆動部13にフォーカスレンズの駆動制御信号を送る。レンズ駆動部13は、フォーカスレンズの駆動制御信号に基づいてフォーカスレンズを駆動し、これにより被写体等へのフォーカス合わせが行われる。また、カメラシステム制御回路5は露光評価値を基に絞り制御の指令をレンズシステム制御回路12に送り、シャッタ速度制御信号をシャッタ機構16に送る。レンズシステム制御回路12は絞り制御の指令に基づき、レンズ駆動部13に絞り駆動制御信号を送る。レンズ駆動部13は、絞り駆動制御信号に基づいて絞りを制御する。シャッタ機構16は、シャッタ速度制御信号に基づいてシャッタ機構の開閉動作が制御される。より詳細に説明すると、シャッタ機構16は、シャッタ幕を走行させることで撮像素子6に被写体像が届くか否かを制御する。シャッタ機構16は、少なくとも被写体像を遮るための幕(メカ後幕)を備えており、露光の完了は当該シャッタ機構16によってなされる。また、撮像素子6は、シャッタ機構16の後幕走行に先立って、ラインごとに電荷をリセットすることによって露光開始のタイミングを制御するモード(電子先幕)を備えている。電子先幕のモードでは、前述した撮像素子6の電荷リセット(電子先幕)とシャッタ機構16の後幕走行とを同期させて動作させることで露出制御が行われる。これにより、撮像素子6では、撮影対象の被写体等に対して適切な露光量による撮像が行われる。前述したように、カメラシステム制御回路5は、撮像素子6からの信号を基に測光・測距動作を行い、フォーカス合わせや露出条件(Fナンバーやシャッタ速度等)を決定する。
画像処理回路7は、複数のALU(Arithmetic and Logic Unit)を搭載した演算回路である。画像処理回路7は、内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等の一般的な画像処理のための構成の他、後述する補正フィルタを用いた補正処理(画像回復処理)を行う構成をも備えている。あるいは、画像処理回路7の代わりに、カメラシステム制御回路5がメモリ回路8に格納されているプログラムを実行することによって、これらの機能をソフトウェア上で処理する構成としても構わない。画像処理回路7にて行われる補正処理(画像回復処理)の詳細については後述する。補間演算回路には色補間回路が含まれ、色補間回路は撮像素子6のベイヤ配列のカラーフィルタに対応したRGB信号に対して色補間(デモザイキング)処理を行ってカラー画像信号を生成する。なお、画像処理回路7は、予め定められた方法を用いて画像、動画、音声などの圧縮をも行う。画像処理回路7は、撮像素子6から供給された撮像信号に対し、それら各画像処理を施して記録用の画像データを生成する。
メモリ回路8は、ROMやRAM等の内部メモリと、着脱可能な半導体メモリ等の外部メモリとを含む。内部メモリのROMには本実施形態に係るプログラムの他、後述するPSF情報や各種の設定データ等が格納され、RAMにはROMから読み出されて展開されたプログラムや各種処理途中のデータ等が記憶される。なお、プログラムは、ROMに予め用意されている場合だけでなく、例えば着脱可能な半導体メモリ(外部メモリ)から読み出されたり、不図示のインターネット等のネットワークを介してダウンロードされたりしてもよい。外部メモリには、画像処理回路7による処理後の記録用の画像データ等が記録される。
表示装置9は、背面表示装置9aと電子ビューファインダ(EVF9b)とからなる。表示装置9には、カメラシステム制御回路5による制御の下で、画像やユーザインターフェイス画面等が表示される。
操作検出回路10は、撮像装置1に設けられている電源スイッチや、レリーズボタン、メニューボタン、その他の各種スイッチやボタン等に対するユーザ操作を検出する。また、表示装置9の背面表示装置9aには、タッチパネルが設けられており、操作検出回路10は、当該タッチパネルに対するユーザ操作についても検出する。そして、操作検出回路10は、それら操作検出信号をカメラシステム制御回路5に送る。
カメラシステム制御回路5は、操作検出回路10により検出されたユーザ操作に応じて、前述したような画像撮像に関連した各部、画像処理回路7、記録と再生、及び表示装置9の表示等をそれぞれ制御する。また、カメラシステム制御回路5は、これらの制御の他にも、撮像の際のタイミング信号などを生成して出力することも行う。例えば、操作検出回路10からレリーズボタンに対するユーザの押下操作の検出信号を受け取ると、カメラシステム制御回路5は、撮像に関連する各種タイミング信号を生成し、撮像素子6の駆動、画像処理回路7の動作などを制御する。このように、本実施形態の撮像装置1は、操作検出回路10により検出されたユーザ操作に応じて、カメラシステム制御回路5が撮像装置1の各部の動作を制御することにより、静止画や動画等の撮影を行うようになされている。
次に、図2を用いて、本実施形態の撮像装置1のブレ補正部14が備えている駆動機構の詳細な構成と動作について説明する。図2はブレ補正部14のうち、撮像素子6を移動させてブレを低減するための駆動機構の分解斜視図である。ブレ補正部14には、カメラシステム制御回路5からの制御信号に応じて図2の駆動機構を動作させる不図示の電気的な駆動回路等も含まれるが、図2にはメカ機構部のみを示している。
図2において、一点鎖線はレンズユニット2の撮像光学系の光軸と平行な線である。また、図2において、100番台の符号が付された部材は、移動しない部材(つまり撮像装置1の筐体等に固定された部材)であり、一方、200番台の符号が付された部材は、移動する部材(つまり撮像装置1の筐体等に固定されていない可動部材)である。さらに、300番台の符号が付された部材は、固定部と可動部とにより挟持されるボールである。
図2に示すブレ補正部14は、固定部の主要な構成要素として、上部ヨーク101、上部磁石103a~103f、固定部転動板106a~106c、下部磁石107a~107f、下部ヨーク108、ベース板110を有する。固定部の構成要素には、補助スペーサ104a,104b、メインスペーサ105a~105c、ビス102a~102c、109a~109cも含まれる。また、ブレ補正部14は、可動部の主要な構成要素として、FPC201、可動部転動板204a~204c、コイル205a~205c、可動枠206、ボール301a~301cを有している。FPC201には、位置検出素子取り付け位置202a~202cが決められており、これらの位置に位置検出素子が取り付けられる。
上部ヨーク101、上部磁石103a~103f、下部磁石107a~107f、下部ヨーク108が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石103a~103fは上部ヨーク101に接着固定されている。同様に、下部磁石107a~107fは下部ヨーク108に接着固定されている。上部磁石103a~103f及び下部磁石107a~107fはそれぞれ光軸方向(図2の上下方向)に着磁されており、隣接する磁石(磁石103aと103bの位置関係にあるもの)は互いに異なる向きに着磁されている。また、対抗する磁石(磁石103aと107aの位置関係にあるもの)は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク101と下部ヨーク108の間に光軸方向に強い磁束密度が生じる。
上部ヨーク101と下部ヨーク108の間には強い吸引力が生じるのでメインスペーサ105a~105c及び補助スペーサ104a,104bにより適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石103a~103fと下部磁石107a~107fの間にコイル205a~205c及びFPC201を配置するとともに適当な空隙を確保できるような間隔である。メインスペーサ105a~105cにはネジ穴が設けられておりビス102a~102cによって上部ヨーク101がメインスペーサ105a~105cに固定される。
メインスペーサ105a~105cの胴部にはゴムが設置されており、可動部の機械的端部(いわゆるストッパー)を形成している。
ベース板110には下部磁石107a~107fをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス109a~109cによってベース板110と下部ヨーク108が固定され、ベース板110よりも厚み方向の寸法が大きい下部磁石107a~107fがベース板110から突出するように固定される。
可動枠203は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高くなされている。可動枠203に対して可動部の各要素が固定されて可動部を為している。FPC201には、位置検出素子取り付け位置202a~202cで示した各位置で図2から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などが配されている。ホール素子は小型なので、コイル205a~205cの巻き線の内側に入れ子になるように配置される。
可動枠203には、図2には不図示の撮像素子6、コイル205a~205c及びホール素子が接続されている。可動枠203は、コネクタを介して外部との電気的なやり取りを行う。
ベース板110には固定部転動板106a~106cが、可動枠203には可動部転動板204a~204cが接着固定されており、ボール301a~301cの転動面が形成されている。なお、転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。
図2に示したブレ補正部14の駆動機構では、コイルに電流を流すことで、フレミング左手の法則に従った力が発生し、可動部を動かすことが出来る。また、ブレ補正部14の場合、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことが可能となる。また、ブレ補正部14では、ホール素子信号の値を適当に制御することで、撮像素子6を、光軸に直交する平面内で並進させるシフトを行えるとともに、光軸周りに回転(ロール)させることも可能である。
本実施形態において、イメージャー防振によるブレ補正では、後述するように、光軸回りの回転(ロール)が重要となるため、これに関して述べる。ブレ補正部14の駆動機構では、位置202aにあるホール素子の信号を一定に保ったまま、位置202bと202cのホール素子信号を逆位相で駆動することで、大凡の光軸周りの回転運動を生み出すことが出来る。
本実施形態の撮像装置1では、前述したように、ブレ検知回路15からのブレ検知信号に基づき、カメラシステム制御回路5が、ブレ補正部14を制御してイメージャー防振を実現し、また、レンズユニット2の防振レンズ群を制御してレンズ防振を実現している。そして、イメージャー防振によるブレ補正では、撮像素子6を光軸周りで回転(ロール)させることも行われる。
図3は、本実施形態の撮像装置1において電源ONから本撮影が行われるまでの一連の動作の流れを示すフローチャートである。以下、図3を用いて、撮像装置1の電源ONから撮影実行までの一連の動作に関して、順を追って説明する。なお、図3のフローチャートの処理は、ハードウェア構成やソフトウェア構成の何れか、又は一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。例えば、メモリ回路8にRAMとROMが含まれる場合、ROMに格納されているプログラムがRAMに展開され、CPUであるカメラシステム制御回路5は、そのプログラムを実行することになどにより、図3のフローチャートの処理を実現する。これらのことは後述する他のフローチャートにおいても同様とする。
カメラシステム制御回路5は、操作検出回路10で電源ON操作が検出されると、図3の動作フローチャートに示す制御を開始する。
次に、カメラシステム制御回路5は、ステップS301において、ユーザが設定した撮影条件、又は、予めメモリ回路8に記憶されている撮影条件を読込む。ステップS301で読込まれる撮影条件の設定値は、例えば電子先幕を用いるか否かを示す設定値や、いわゆる絞り優先又はシャッタ速度優先等の各種設定値などである。
次に、カメラシステム制御回路5は、ステップS302においてユーザが電源OFFの操作を行ったか否か判断し、電源OFFの操作が行われたと判断した場合には図3のフローチャートの処理を終了する。一方、ステップS302において電源OFFの操作が行われていないと判断した場合、カメラシステム制御回路5は、ステップS303に処理を進める。なお、本来はユーザ操作に対応したステップS302,S305,S308などは割り込み処理となるものであるが、図3ではフローとして説明している。
ステップS303に進むと、カメラシステム制御回路5は、撮像素子6にて撮像されて画像処理回路7を介した信号を基に、前述したライブビュー表示時の測光・測距に関する制御を行う。これにより、ライブビュー画像を取り込むときのピント位置や露光条件などが決定される。
次のステップS304において、カメラシステム制御回路5は、ライブビュー表示時の測光・測距の条件で撮像素子6にて撮像されて画像処理回路7で画像処理された画像データを、表示装置9に送ってライブビュー表示を行わせる。ライブビュー表示では、表示装置9の背面表示装置9a若しくはEVF9bに画像が表示される。
次に、カメラシステム制御回路5は、ステップS305においてユーザによるS1操作が操作検出回路10により検出されたか否かを判断する。そして、カメラシステム制御回路5は、S1操作が検出されていない場合にはステップS301に処理を戻し、一方。S1操作が検出されたと判断した場合にはステップS306に処理を進める。なお、S1操作とはユーザによるレリーズボタンの半押し操作である。
ステップS306の処理に進むと、カメラシステム制御回路5は、前述したレンズ防振、イメージャー防振の防振処理に関する制御(防振制御)を開始する。
次に、カメラシステム制御回路5は、ステップS307において、S1操作後に撮像素子6にて撮像されて画像処理回路7を介した信号に基づく測光・測距に関する制御を行う。このときのカメラシステム制御回路5は、撮像素子6で撮像されて画像処理回路7を介した信号を基に、絞り値やシャッタ速度(Tv値)を決定する。
次に、カメラシステム制御回路5は、ステップS308において、ユーザによるS2操作が操作検出回路10により検出されたか否かを判断する。そして、カメラシステム制御回路5は、S2操作が検出されたと判断した場合にはステップS309に処理を進め、S2操作が検出されていない場合にはステップS310に処理を進める。なお、S2操作とはレリーズボタンの全押し(最後まで押し切る)操作である。
ステップS309に進むと、カメラシステム制御回路5は、シャッタ機構16を制御してシャッタ幕を走行させるとともに、撮像素子6による被写体等の撮像を行わせる。このステップS309の後、カメラシステム制御回路5は、S302に処理を戻す。
ステップS310に進んだ場合、カメラシステム制御回路5は、S1操作が維持されているか否かを判断する。カメラシステム制御回路5は、S1操作が維持されていると判断した場合にはステップS308に処理を戻し、一方、S1操作が維持されていないと判断した場合にはステップS302に処理を戻す。
なお、図3では図示していないが、ユーザによるレリーズボタンへの押下操作が解除されてS1操作が開放された後、一定時間が経過すると、カメラシステム制御回路5は、防振制御をOFFとする。
次に、本実施形態において、前述した防振処理による収差や回折の影響で撮影画像に生ずる劣化成分と、その劣化成分を補正する補正処理の概要について説明する。ここで説明される防振処理、補正処理の手法は、本実施形態の撮像装置1において適宜用いられる。
本実施形態の撮像装置1の撮像光学系3は、球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正できるように設計されているが、例えば防振処理が行われると、収差に変化が生じて撮影画像が劣化することがある。例えばレンズ防振によって防振レンズ群が撮像光学系3の光軸4に直交する方向に動かされると、撮像光学系3と防振レンズ群との間で生ずる光軸の偏芯により収差に変化が生じ、撮影画像が劣化してしまうことがある。
レンズの収差は絞り等の開口径に関係して変化するが、横収差は概ね絞りの開口径が小さいほど抑制される。また、回折現象は、開口径が例えばf/2.8のように大きい場合にその影響が小さく、一方、開口径が例えばf/11やf/22などのように小さい場合にその影響が大きくなる。この回折現象も、収差の場合と同様に、撮影画像を劣化させる要素となることがある。
これら収差や回折は、点像分布関数(Point Spread Function、以下、PSFとする。)や光学伝達関数(Optical Transfer Function、以下、OTFとする。)で記述できる。収差や回折による画質劣化成分は、例えば無収差で回折の影響も無い場合には被写体の一点から発した光が撮像面上で再度一点に集まるべきものが広がってしまうことで生じるため、PSFにより表すことができる。また、PSFをフーリエ変換して得られるOTF(光学伝達関数)は、収差の周波数成分情報であり、複素数で表される。さらにOTFの絶対値、すなわち振幅成分はMTF(Modulation Transfer Function)と呼ばれ、位相成分はPTF(Phase Transfer Function)と呼ばれる。これらMTF(振幅成分)とPTF(位相成分)は、それぞれ、収差による画質劣化の振幅成分と位相成分の周波数特性であり、位相成分は位相角として以下の式(1)で表される。なお、式(1)のRe(OTF)はOTF(光学伝達関数)の実部を、Im(OTF)はOTFの虚部を表す。
PTF=tan-1(Im(OTF)/Re(OTF)) 式(1)
収差や回折による撮影画像の劣化の補正は、MTF(振幅成分)及びPTF(位相成分)における劣化成分を補正することにより実現可能となる。MTF(振幅成分)及びPTF(位相成分)における劣化成分を補正する方法としては、例えば、撮像光学系のOTF又はPSFの情報に基づいて補正する方法がある。本実施形態では、撮像光学系のOTF又はPSF情報に基づいて撮影画像の劣化を補正するための補正処理として、画像回復処理を行う。画像回復処理を実現する方法の一つとしては、OTFの逆特性を有する関数を、入力画像(撮影画像)に対して畳み込む(コンボリューション)方法がある。なお、OTFの逆特性を有する関数は、画像の劣化を補正する補正フィルタ(画像回復処理における後述する画像回復フィルタ)となされる。
次に、前述した撮影画像の劣化成分に対する補正処理である画像回復処理と、当該画像回復処理で用いられる補正フィルタ(画像回復フィルタ)について説明する。本実施形態の撮像装置1の場合、画像回復処理は画像処理回路7において行われる。
本実施形態において、画像回復処理への入力画像は、撮像光学系3を介して撮像素子6が撮像した撮像画像であり、出力画像は画像回復処理後の画像である。撮像画像(入力画像)は、撮像光学系3に含まれるレンズや不図示の各種光学フィルタ類の収差によるOTF(光学伝達関数)と、撮像光学系3に含まれる絞りや不図示の光学部材からの回折によるOTFとによって劣化している。以下の説明では、当該劣化した撮像画像(入力画像)を劣化画像と表記する。なお、撮像光学系は、レンズだけでなく、曲率を有するミラー(反射面)を用いて構成されていてもよい。また、入力画像は、例えばRGB色成分の情報を有するRAW画像であるが、これに限定されるものではない。入力画像や出力画像には、光学部材の有無、レンズの焦点距離、絞り値、及び、撮影距離などの撮影条件や、画像を補正するための各種の補正情報が付帯されていてもよい。
先ず、画像回復処理の概要について説明する。
ここで、劣化画像(撮像画像)をg(x,y)とし、元の画像をf(x,y)、OTF(光学伝達関数)のフーリエペアであるPSF(点像分布関数)をh(x,y)とすると、以下の式(2)が成立する。なお、式(2)において、*はコンボリューション(畳み込み積分、積和)、(x,y)は撮影画像上の座標である。
g(x,y)=h(x,y)*f(x,y) 式(2)
また、式(2)をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式(3)が得られる。なお、式(3)において、Hは点像分布関数PSF(h)をフーリエ変換することにより得られたOTF(光学伝達関数)であり、Gは劣化画像gをフーリエ変換して得られた関数、Fは元の画像fをフーリエ変換して得られた関数である。また、(u,v)は2次元周波数面での座標、すなわち周波数である。
G(u,v)=H(u,v)・F(u,v) 式(3)
撮影で得られた劣化画像gから元の画像fを得るには、以下の式(4)のように両辺を光学伝達関数Hで除算すればよい。
G(u,v)/H(u,v)=F(u,v) 式(4)
そして、F(u,v)、すなわちG(u,v)/H(u,v)を逆フーリエ変換して実面に戻すことにより、元の画像f(x,y)が回復画像として得られる。
また、H-1を逆フーリエ変換したものをRとすると、以下の式(5)のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像f(x,y)を得ることができる。
g(x,y)*R(x,y)=f(x,y) 式(5)
ここで、式(5)におけるR(x,y)は画像回復フィルタと呼ばれる。画像が2次元画像である場合、一般的に、画像回復フィルタRも画像の各画素に対応したタップ(セル)を有し、2次元のフィルタ値の分布を有する。また、画像回復フィルタRのタップ数(セルの数)は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、点像分布関数(PSF)の広がり幅、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタRは、少なくとも収差や回折の特性を反映している必要があるため、一般的な水平垂直各3タップ程度のエッジ強調フィルタ(ハイパスフィルタ)などとは異なる。画像回復フィルタRは、OTF(光学伝達関数)に基づいて設定されるため、振幅成分及び位相成分の劣化の両方を高精度に補正することができる。
また、実際の画像にはノイズ成分が含まれるため、前述のようにOTF(学伝達関数)の逆数をとって生成した画像回復フィルタRを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のMTF(振幅成分)が1に正規化されているとすると、MTFを全周波数に渡って1に戻すように、MTFを持ち上げるためである。光学系による振幅劣化であるMTFは1に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にMTFを持ち上げる度合(回復ゲイン)に応じてノイズが増幅されてしまう。
したがって、画像にノイズが含まれる場合には、鑑賞用として使用可能な高品質な画像は得られないことになる。このことは、以下の式(6-1)、式(6-2)で表される。なお、式中のNはノイズ成分である。
G(u,v)=H(u,v)・F(u,v)+N(u,v) 式(6-1)
G(u,v)/H(u,v)=F(u,v)+N(u,v)/H(u,v) 式(6-2)
ノイズ成分が含まれる画像に関しては、例えば以下の式(7)で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比(SNR)に応じて回復度合を制御する方法がある。
式(7)において、M(u,v)はウィナーフィルタの周波数特性、|H(u,v)|はOTF(光学伝達関数)の絶対値(MTFの絶対値)である。本実施形態において、M(u,v)は、画像回復フィルタの周波数特性に相当する。この方法では、周波数ごとに、MTFが小さいほど回復ゲイン(回復度合)を小さくし、MTFが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のMTFは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
また、式(7)のSNR項により、画像回復フィルタのゲイン特性は変化する。このため、SNR項を、単純に回復ゲイン(回復度合)を制御するためのパラメータCとして、以下の式(8)を用いる。
式(8)において、パラメータCがC=0の場合には、M(u,v)はOTF(光学伝達関数)の逆フィルタ(MTFの逆数)と一致し、パラメータCを大きくするに従って画像回復フィルタのゲインが低下する。また、C>|H(u,v)|-|H(u,v)|2になると、画像回復フィルタのゲインが1倍以下となる。
このことを模式的に表したのが図4(a)~図4(c)である。図4(a)~図4(c)は、OTF(光学伝達関数)の逆フィルタのゲイン特性と画像回復フィルタのゲイン特性との関係図である。図4(a)~図4(c)において、縦軸はゲイン、横軸は空間周波数をそれぞれ示している。また、図4(a)~図4(c)において、点線はOTFの逆フィルタのゲイン特性、実線は画像回復フィルタのゲイン特性をそれぞれ示している。
ここで、絞り値Fnが所定値Th1未満である場合(Fn<Th1)、画像回復フィルタのゲインは所定の最大ゲインよりも大きくならないため、パラメータCをC=0とすることができる。このため、MTFの逆数(OTFの逆フィルタのゲイン)と画像回復フィルタのゲインとが互いに一致する(図4(a))。また、絞り値Fnが所定値Th1以上でかつ所定値Th2未満である場合(Th1≦Fn<Th2)、逆フィルタの高周波側のゲインが所定の最大ゲインよりも大きくなる。このため、パラメータCを大きくして画像回復フィルタの高周波側のゲインを抑制する(図4(b))。絞り値FnがTh2以上になり(Th2≦Fn)、C>|H(u,v)|-|H(u,v)|2になると、画像回復フィルタのゲインが1倍以下となる(図4(c))。所定値Th1,Th2(絞り値)は、撮像素子6の画素ピッチと光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン(回復度合)の最大値、回復ゲイン(回復度合)を制御するためのパラメータCなどに応じて決定される。
以上のように、絞り値に応じて画像回復フィルタのゲイン特性(の傾向)は大きく変化する。本実施形態では、この傾向を加味した上で、撮像装置1で保持する画像回復フィルタを、後述するように演算することにより、画像回復フィルタのデータ量を削減することを可能としている。
次に、図5を参照して、本実施形態で用いる画像回復フィルタについて説明する。
図5は、画像回復フィルタの特性を表す図である。画像回復フィルタは、撮像光学系3の収差や回折によるPSF(点像分布関数)の広がり、画像回復処理に要求される回復精度に応じて、そのタップ数が決定される。本実施形態において、画像回復フィルタは、例えば11×11タップの2次元フィルタであるとする。但し、これに限定されるものではなく、PSFの広がり幅と画素ピッチとの関係から、更に大きなタップ数の画像回復フィルタを用いてもよい。画像回復フィルタの各タップの値(係数値)の分布は、収差により空間的に広がった信号値または画素値を、理想的には元の1点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合、当該回折によるPSFは回転対称となる。このため、画像回復フィルタの特性も、図5に示されるように対称な特性となされる。
また本実施形態において、画像回復フィルタの各タップでは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理(畳み込み積分、積和)がなされる。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させ、画像回復フィルタの対応画素ごとに画像の信号値と各タップの値の積をとり、その総和を中心画素の信号値として置き換える。
続いて、図6及び図7を参照して、画像回復処理における実空間と周波数空間での特性について説明する。
図6(a)、図6(b)は、PSF(点像分布関数)の説明図であり、図6(a)は画像回復前のPSF、図6(b)は画像回復後のPSFを示している。図7(a)はOTF(光学伝達関数)のMTF(振幅成分)の説明図であり、図7(b)はPTF(位相成分)の説明図である。図7(a)中の破線Gは画像回復前のMTF、一点鎖線Eは画像回復後のMTFを示す。また図7(b)中の破線Gは画像回復前のPTF、一点鎖線Eは画像回復後のPTFを示す。
図6(a)に示されるように、画像回復前のPSF(点像分布関数)は、収差の影響により非対称な広がりを有し、この非対称性によりPTF(位相成分)は周波数に対して非直線的な値を有する。画像回復処理では、MTFを増幅し、PTFがゼロになるように補正するため、画像回復後のPSFは対称で先鋭な形状になる。
また、回転対称であると近似できる絞りによる回折を対象とする場合、回折によるPSFは回転対称となる。このため、図7(b)の破線Eは0となる。換言すると、本実施形態で扱う回折には位相ずれがない。また、位相ずれの有無に関わらず、前述の画像回復の原理は機能するため、回折を補正対象とする本実施形態においても、画像回復は有効である。
このように画像回復フィルタは、撮像光学系3のOTF(光学伝達関数)の逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば前述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、前述した式(7)を逆フーリエ変換することにより、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。
また、OTF(光学伝達関数)は、一つの撮影状態(撮影条件)においても撮像光学系3の像高(画像の位置)に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値が大きくなるに従って回折の影響が支配的になるOTFに対しては、光学系のビネッティング(けられ)の影響が小さい場合、像高に対して一律な(一定の)OTFとして扱うことができる。
また、本実施形態では、回折(回折ぼけ)も対象とする。画像回復フィルタは、絞り値が小さい場合には、絞り値、光の波長、及び、像高(画像の位置)に依存する。このため、一つの画像内について一律の(一定の)画像回復フィルタを用いることができない。すなわち、本実施形態の画像回復フィルタは、絞り値に応じて発生する回折ぼけも含む光学伝達関数を使用して、演算により生成される。画像回復フィルタの演算方法については後述する。波長については、複数の波長での光学伝達関数を算出し、想定する光源の分光特性や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長を用いて算出してもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。
画像回復処理が行われる場合、画像処理回路7は、先ず、カメラシステム制御回路5から前述した撮影条件情報を取得する。また、画像処理回路7は、撮影条件情報の中の撮影時の絞り値に応じた画像回復フィルタを軸上光束用と軸外光束用とでそれぞれ一つ以上選択する。画像処理回路7は、選択した画像回復フィルを用いて、撮像画像(入力画像)から回復画像(出力画像)を生成する。
画像処理回路7にて生成された回復画像は、メモリ回路8に所定のフォーマットで記録される。また、表示装置9には、画像処理回路7による画像処理後の画像に対して表示用の所定の処理が行われた画像が表示される。なお、表示装置9には、高速表示のために簡易的な処理を行った画像を表示してもよい。
また、レンズユニット2の他にも、OTF(光学伝達関数)の特性に影響を与える光学素子を有する場合、画像回復フィルタを生成する際には、その影響を考慮することが好ましい。例えば、撮像素子6の前に設けられた光学ローパスフィルタによる影響が考えられる。この場合、画像処理回路7は、光学ローパスフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、撮影光路内に赤外カットフィルタがある場合、分光波長のPSF(点像分布関数)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを生成する際にはその影響を考慮することが好ましい。この場合、画像処理回路7は、赤外カットフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像処理回路7は、画素開口による光学伝達関数に基づいて画像回復フィルタを生成する。
図8は、カメラシステム制御回路5による制御の元で画像処理回路7により行われる画像回復処理の流れ示すフローチャートである。
ここで、画像回復処理を効果的に行うには、撮像光学系3における正確なOTF又はPSF情報を取得する必要がある。OTF又はPSF情報は、例えば撮像光学系3の設計値情報があれば、その情報から計算によって求めることが可能である。また、PSF又はOTF情報は、点光源を撮影した際の光の強度分布、又はその強度分布にフーリエ変換を施すことでも求めることが可能である。更に、回折の場合においては、理論的に導かれた計算式からOTF又はPSF情報を求めることができる。
故に、防振処理によって像ブレを低減し、さらに防振処理で生ずる画質劣化を補正するために画像回復処理を行うような場合、必要なOTF又はPSF情報は、かなり膨大なデータ量となる可能性がある。すなわち例えば、レンズ防振により撮像光学系3の光軸4に直交する方向に防振レンズ群を移動させたことで光軸が偏芯した偏芯状態と、光軸に偏芯が生じていない無偏芯状態とでは、撮像素子6の撮像面上の光像に生ずる収差が異なる。したがって、良好な画像回復処理を行うためには、無偏芯状態の時のOTF又はPSF情報とは別に、偏芯状態の時のOTF又はPSFの情報をも保持しておく必要がある。またイメージャー防振時には撮像素子6が撮像光学系3の光軸4に直交する方向にシフト、光軸周りに回転(ロール)等される。このため、イメージャー防振に対応可能な撮像光学系3のイメージサークルは、イメージャー防振に非対応な撮像光学系のイメージサークルよりもかなり大きいものとなされる。したがって、イメージャー防振が行われる場合には、イメージャー防振に対応可能な大きなイメージサークルにおける像高までのOTF又はPSF情報を保持しておく必要がある。
さらに、例えば2種類以上の防振処理を同時に使用するようにした場合には、必要なOTF又はPSF情報はさらに増大することになる。本実施形態の場合、非防振処理時(無偏芯状態)用と、レンズ防振時(偏芯状態)用と、イメージャー防振時用と、レンズ防振及びイメージャー防振が同時使用された場合の、それぞれのOTF又はPSF情報が必要となる。また、レンズ防振及びイメージャー防振が同時使用された場合、レンズ防振による偏芯状態に対応するためにイメージャー防振時用よりも高い像高までのOTF又はPSF情報が必要になる。すなわち、2種類以上の防振処理を同時に使用する場合には、事前に保持しなければならないOTF又はPSF情報が膨大になる。
図8のフローチャートは、防振処理としてレンズ防振とイメージャー防振の両方の防振処理が行われる場合において、撮像光学系3による収差と回折によって撮像画像に生じている劣化を回復する画像回復処理を示している。この画像回復処理は、撮影の直後に行ってもよいし、記録された画像を再生するときに行うようにしてもよい。なお、図8の説明では、画像回復フィルタのフィルタ情報としてPSF情報が保持されている例を挙げて説明する。
カメラシステム制御回路5は、防振制御がONになされている場合に、図8のフローチャートの動作を開始させる。図8のフローチャートの動作が開始されると、先ず、ステップS801において、カメラシステム制御回路5は、防振処理が実行されている状態で撮像素子6による画像の撮影を行わせる。なお、この時の撮影は、静止画撮影であっても、動画撮影であってもよい。
次に、ステップS802において、カメラシステム制御回路5は、レンズ防振とイメージャー防振の両方が同時に使用されたか否かを判定する。カメラシステム制御回路5は、レンズ防振とイメージャー防振が同時に使用されたと判定した場合にはステップS803に処理を進め、レンズ防振とイメージャー防振が同時に使用されていないと判定した場合にはステップS810に処理を進める。
ステップS803に進むと、カメラシステム制御回路5は、ステップS802にてレンズ防振とイメージャー防振が同時に使用されているという撮影条件に基づいて、撮影時におけるイメージャー防振による撮像素子6の移動データを取得する。このとき取得される移動データは、撮像素子6を撮像光学系3の光軸に直交する方向に移動するシフト量、光軸周りに回転するロール量の他、チルト量をも含む。この撮像素子6の移動データは、後の防振処理における像高の座標を計測する際に使用される。
続いて、ステップS804において、カメラシステム制御回路5は、画像処理回路7に対し、メモリ回路8に保持されている複数のフィルタ情報の中から、イメージャー防振に応じた複数のフィルタ情報の取得を行わせる。この場合、画像処理回路7は、イメージャー防振時の撮像素子6の移動データに基づいて防振処理が行われて撮影された撮像画像の像高と、非偏芯時の撮像光学系3による像高との関係を演算する。そして、画像処理回路7は、それら像高の関係と撮影条件とを基に、メモリ回路8に保持されているフィルタ情報の中から、所望の複数のフィルタ情報を選定する。
次に、ステップS805において、カメラシステム制御回路5は、ステップS802にてレンズ防振とイメージャー防振が同時に使用されているという撮影条件に基づいて、撮影時のレンズ防振における防振レンズ群の移動データを取得する。このとき取得される移動データは、撮像光学系3の光軸に対する防振レンズ群のシフト量の他、チルト量をも含む。
続いて、ステップS806において、カメラシステム制御回路5は、画像処理回路7に対し、メモリ回路8に保持されているフィルタ情報の中から、レンズ防振に基づく複数のフィルタ情報の取得を行わせる。この場合、画像処理回路7は、防振レンズ群の移動データに基づいて撮像光学系の光軸に対する防振レンズ群の偏芯量及び偏芯方向を演算する。そして、画像処理回路7は、それら偏芯量及び偏芯方向と撮影条件とを基に、メモリ回路8に保持されているフィルタ情報の中から、所望の複数のフィルタ情報を選定する。
次に、ステップS807において、カメラシステム制御回路5は、画像処理回路7に対し、イメージャー防振時の補正量(像高の変化量)とレンズ防振時の偏芯量が、光軸中心の移動量について、それぞれどの程度寄与するかを表す寄与度を算出させる。この場合、画像処理回路7は、イメージャー防振時の補正量(像高の変化量)と、レンズ防振時の偏芯量(偏芯量及び偏芯方向)とから、撮像光学系3の光軸中心の移動量に対するそれぞれの寄与度を算出する。なお、画像処理回路7は、イメージャー防振時の移動量と方向、レンズ防振時の移動量と方向について、それぞれ移動する前と後で比較した時のPSF(点像分布関数)の変化量に対する寄与度を算出してもよい。ステップ807にて算出される寄与度は、複数のPSF情報をコンボリューションする際の係数として使用される。
ここで、寄与度の算出方法について説明する。
PSF(点像分布関数)の変化量を、MTF(光学伝達関数)の変化量とみなす。イメージャー防振によって像高が変化することで、MTFが変化する。このときのMTFの変化量を、第1のMTFの変化量とする。また、レンズ防振によって偏心が起こることで、MTFが変化する。このときのMTFの変化量を、第2のMTFの変化量とする。この第1のMTFの変化量と第2のMTFの変化量の比率に応じて、寄与度が求められる。
例えば、元のMTFが60%であり、像高が変化することで、同じ評価像高でのMTF値が50%になったのであれば、第1のMTFの変化量は10(=60-50)となる。また、元のMTFが60%であり、防振レンズ群の移動することで、同じ評価像高でのMTF値が40%になったのであれば、第2のMTFの変化量は20(=60-40)となる。この場合、イメージャー防振時のPSFと、レンズ防振時のPSFは、1:2の比率で寄与することになる。
さらに、レンズ防振時の偏芯方向について説明する。防振レンズ群の偏芯の方向に応じて、MTFは改善したり悪化したりする。多くの場合は、MTFが改善する防振レンズ群の偏心方向と、MTFが悪化する防振レンズの偏心方向は、光軸中心に対して点対称となる。このとき、MTFが悪化する方向に対しては強く補正が掛かるように、PSFの寄与度を変化させ、MTFが改善する方向に対しては弱く補正が掛かるように、PSFの寄与度を変化させる。ただし、防振レンズ群の偏芯後にどちらの方向も元々のMTFよりも低下する場合は、どちらの像高に対しても同様に補正が掛かる。
例えば、元のMTFが60%であり、防振レンズ群の偏芯により、MTF値が改善して70%になったのであれば、第2のMTFの変化量は-10(=60-70)となる。また、元のMTFが60%であり、防振レンズ群の偏芯により、MTF値が悪化して50%になったのであれば、第2のMTFの変化量は10(=60-50)となる。寄与度はこの比率に比例するため、MTF値が改善した場合のレンズ防振時のPSFは、10/60のゲインダウンとなる比率で寄与し、MTF値が悪化した場合のレンズ防振時のPSFは、10/60のゲインアップとなる比率で寄与することになる。
続いて、ステップS808において、カメラシステム制御回路5は、画像処理回路7に対して、前述のように選定されたフィルタ情報のPSFを基に、或る像高におけるPSFを算出させる。すなわち、画像処理回路7は、イメージャー防振で移動した像高に応じて選出されたPSFと、レンズ防振時の防振レンズ群の移動による偏芯光学系に応じて選定されたPSFとを、係数を掛けてコンボリューションして、その像高のPSFを算出する。
続いて、ステップS809において、カメラシステム制御回路5は、画像処理回路7に対し、画像回復フィルタを作成させる。この場合、画像処理回路7は、ステップS808で算出したPSFをフーリエ変換してOTFを求め、さらにそのOTFを逆フーリエ変換した関数である画像回復フィルタを算出する。
また、ステップS802においてレンズ防振とイメージャー防振が同時に使用されていないと判定されてステップS810に進んだ場合、カメラシステム制御回路5は、使用された防振処理がレンズ防振とイメージャー防振の何れであるかを検出する。
次に、ステップS811において、カメラシステム制御回路5は、画像処理回路7に対し、ステップS810で検出した防振処理で使用する複数のフィルタ情報を取得させる。この時の画像処理回路7は、メモリ回路8から、ステップS810で検出された防振処理に対応した複数のフィルタ情報を選出する。その後、カメラシステム制御回路5は、ステップS809に処理を進め、以降は前述同様にして画像回復フィルタの作成が行われる。
以上説明したように、本実施形態の撮像装置1は、撮像時に使用可能な防振処理に応じた複数のフィルタ情報として、非防振時用とレンズ防振時用とイメージャー防振時用のそれぞれに個別に対応したフィルタ情報のみを保持している。すなわち、本実施形態の場合、レンズ防振及びイメージャー防振の同時使用に対応したフィルタ情報については予め用意されておらず保持していないため、画像回復フィルタのためのデータの増大が抑えられている。また、レンズ防振とイメージャー防振が同時使用された場合、レンズ防振時用とイメージャー防振時用の両フィルタ情報からそれぞれ個別に算出した画像回復フィルタを用いたのでは、劣化を良好に補正できない。このため、本実施形態では、レンズ防振とイメージャー防振の同時使用に対応した画像回復フィルタについては、予め保持されているフィルタ情報を基に所定の演算処理を行うことにより生成する。
すなわち、本実施形態の撮像装置1は、レンズ防振とイメージャー防振の同時使用に適応した画像回復フィルタを生成する場合、レンズ防振時の移動量とイメージャー防振時の移動量とを取得する。また、撮像装置1は、予め保持している複数のフィルタ情報の中から、撮像時に使用された防振処理の条件に応じたフィルタ情報を取得する。つまり、レンズ防振とイメージャー防振とにそれぞれ対応して保持されているフィルタ情報を取得する。さらに、撮像装置1は、それらレンズ防振時とイメージャー防振時の移動量とフィルタ情報とを基に、所定の演算処理を行うことで、レンズ防振とイメージャー防振の同時使用時の画像回復処理に用いる画像回復フィルタを算出する。この時の所定の演算処理は、レンズ防振とイメージャー防振とで個別に取得されたフィルタ情報に、レンズ防振とイメージャー防振が防振処理に与える寄与度に応じた係数を掛けてコンボリューションする演算となされている。そして、本実施形態の撮像装置1は、当該作成した画像回復フィルタを用い、レンズ防振とイメージャー防振とが同時に使用されて取得された撮影画像に対する画像回復処理を実行する。
このように、本実施形態の撮像装置1では、レンズ防振とイメージャー防振の二つの防振処理が同時に使用された場合に適応した画像回復フィルタを作成している。このため、本実施形態の撮像装置1によれば、予め保持するデータ量を削減しつつ高精度な防振処理を行えるとともに、防振処理後の劣化した画像に対する高精度な画像回復処理を行うことができる。すなわち本実施形態では、光学系の偏芯によるPSFを、偏芯量と方向とでマトリクス的に組み合わせを作成して離散的にデータを保持、つまりデータが無い領域では補間で補える精度を見極めて保持することで、データ量の削減を可能としている。なお、前述の説明では、保持するフィルタ情報をPSF情報としたが、これには限定されず、OTF、波面、MTFとPTFなどの光学伝達関数を表す情報であれば何れの形式のデータであってもよい。
<その他の実施形態>
本実施形態の撮像装置は、レンズ交換可能なデジタルカメラだけでなく、レンズがカメラ本体に固定されたデジタルカメラやビデオカメラ、その他、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。