JP2009088935A - 画像記録装置、画像補正装置及び撮像装置 - Google Patents

Abstract

【課題】連続撮影された適正露光画像と短露光画像に基づいて適正露光画像のぶれを除去する手ぶれ補正方式において、必要な記録容量の削減を図る。
【解決手段】画像記録装置は、撮像部から主画像（補正対象画像）を取得して前記主画像を記録媒体（１６）に記録する。画像記録装置は、前記撮像部から前記主画像を取得する際、前記主画像の露光時間よりも短い露光時間にて撮影された短露光画像（参照画像）をも取得する画像取得部（３１）と、前記短露光画像から一部画像（小画像）を切り出す一部画像切出部（３２）と、前記一部画像の切り出し位置とともに前記一部画像から得た副画像を、前記主画像に関連付けて前記記録媒体に記録する記録制御部（３３）と、を備えている。
【選択図】図１４

Description

本発明は、撮影によって得られた画像を記録する画像記録装置、及び、その画像を補正する画像補正装置に関する。また、本発明は、デジタルスチルカメラ等の撮像装置に関する。

手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の方式として様々な方式が提案されているが、その中に、復元式手ぶれ補正が存在する。

復元式手ぶれ補正では、ぶれによる画像の劣化を復元処理によって除去する。例えば、１枚又は複数枚の撮影画像の画像データに基づいて、或いは、手ぶれ検出センサの検出データに基づいて、撮影中の手ぶれの状態を表す手ぶれ情報（点広がり関数（Point Spread Function）など）を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を復元処理によって生成する。

復元式手ぶれ補正に関する一従来手法として、下記特許文献１に記載の手法がある。この手法では、短い露光時間にて撮影した第１画像と長い露光時間にて撮影した第２画像を連続的に取得し、両画像の空間周波数分析を行うことにより、第２画像のぶれを補正している。しかしながら、ぶれを除去するための演算には相当の時間（例えば、１秒〜数秒）を要するため、シャッタボタン押下による撮影指示の度に、この演算を行うと時間的負荷が重すぎる。

これを回避すべく、撮影時に両画像を記録媒体に記録しておき、再生時にユーザの指示に従って両画像を読み出して第２画像のぶれを除去する、という手法も考えられる。しかしながら、この手法によれば、２枚の画像（第１及び第２画像）を記録媒体に記録しておく必要があるため、必要な記録容量が本来の２倍に増大してしまう。

尚、フーリエ反復法を用いた復元式手ぶれ補正も提案されている（例えば、下記非特許文献１参照）。図２３にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数（ＰＳＦ）の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像（復元画像の初期値）を与えてやる必要があり、初期の復元画像として、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。

特開２００２−２５８３５１号公報 G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年，Vol.13, No.7, p.547-549

そこで本発明は、必要な記録容量の削減に寄与する、画像復元機能を実現するための画像記録装置、画像補正装置、画像記録方法及び撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る画像記録装置は、撮像手段から主画像を取得して前記主画像を記録媒体に記録する画像記録装置において、前記撮像手段から前記主画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された短露光画像をも取得する画像取得手段と、前記短露光画像から一部画像を切り出す一部画像切出手段と、前記一部画像の切り出し位置とともに前記一部画像から得た副画像を、前記主画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えたことを特徴とする。

短露光画像から切り出した一部画像に基づく副画像を主画像に関連付けて記録しておくことにより、再生時に、両画像に基づいて主画像を補正することが可能となる。また、副画像の画像データ量は小さいため、従来の如く２枚の撮影画像を単純に記録しておく場合と比べて、必要な記録容量が削減される。

また例えば、当該画像記録装置は、前記一部画像切出手段によって切り出された前記一部画像に対して所定の画像処理を加える画像処理手段を更に備え、前記記録制御手段は、前記画像処理後の前記一部画像を前記副画像として前記記録媒体に記録する。

或いは例えば、前記短露光画像は、第１及び第２の参照画像を含み、前記一部画像切出手段は、各参照画像から一部画像を切り出し、前記副画像は、各参照画像の一部画像を加重加算することにより得られる。

或いは例えば、前記短露光画像は、第１及び第２の参照画像を含み、前記一部画像切出手段は、各参照画像から一部画像を切り出し、前記副画像は、第１の参照画像の一部画像、又は、第２の参照画像の一部画像から得られる。

上記目的を達成するために本発明に係る画像補正装置は、前記記録媒体から前記副画像及び前記切り出し位置を読み出す読出制御手段と、前記読出制御手段の読出内容を用いて、前記記録媒体に記録された前記主画像を補正する補正手段と、を備えたことを特徴とする。

具体的には例えば、前記補正手段は、読み出された前記切り出し位置に基づいて前記主画像から一部画像を切り出し、前記主画像の一部画像と前記副画像に基づいて、前記主画像を補正する。

更に具体的には例えば、前記補正手段は、前記主画像の一部画像と前記副画像に基づき、前記主画像のぶれによる劣化の状態を推定して前記劣化を補正するための復元関数を生成する復元関数生成手段を備え、前記復元関数を前記主画像に作用させることによって前記主画像の前記劣化を補正する。

また、本発明に係る撮像装置は、上記の何れかに記載の画像記録装置及び撮像手段を備えたことを特徴とする。

また、本発明に係る画像記録方法は、撮像手段から主画像を取得して前記主画像を記録媒体に記録する画像記録方法において、前記撮像手段から前記主画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された短露光画像をも取得する画像取得ステップと、 前記短露光画像から一部画像を切り出す一部画像切出ステップと、前記一部画像の切り出し位置とともに前記一部画像から得た副画像を、前記主画像に関連付けて前記記録媒体に記録する記録制御ステップと、を備えたことを特徴とする。

本発明によれば、記録容量の削減に寄与する、画像復元機能を実現するための画像記録装置、画像補正装置、画像記録方法及び撮像装置を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

従来技術に対して述べた内容に対応するための、本発明の特徴的技術は、主として第２及び第３実施形態にて述べられるが、まず、説明の便宜上、第２及び第３実施形態に利用される技術内容を、第１実施形態の中で説明する。

＜＜第１実施形態＞＞
本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る撮像装置１の全体ブロック図である。図１の撮像装置１は、静止画を撮影及び記録可能なデジタルスチルカメラ、又は、静止画及び動画を撮影及び記録可能なデジタルビデオカメラである。

まず、撮像装置１の全体的な構成について説明する。撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、露光制御部１８と、手ぶれ検出／補正部１９と、を備えている。操作部１７には、シャッタボタン１７ａが備えられている。

撮像部１１は、光学系と、絞りと、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子と、光学系や絞りを制御するためのドライバ（全て不図示）と、を有している。ドライバは、主制御部１３からのＡＦ／ＡＥ制御信号に基づいて、光学系のズーム倍率や焦点距離、及び、絞りの開度を制御する。撮像素子は、光学系及び絞りを介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。

主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮影画像の画像データを含む、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。

操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画の撮影及び記録を指示するためのボタンである。

露光制御部１８は、撮像部１１の撮像素子の露光量が最適化されるように、撮像素子の各画素の露光時間を制御する。また、主制御部１３から露光制御部１８に対して露光時間制御信号が与えられている場合、露光制御部１８は、その露光時間制御信号に従って露光時間を制御する。

撮像装置１の動作モードには、静止画または動画の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された静止画または動画を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行う。主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成し、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。

撮影モードにおいて、シャッタボタン１７ａが押下された際、主制御部１３は、１枚の撮影画像を表す画像データを記録媒体１６に格納する（即ち、記憶させる）。この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に、操作部１７等を介して与えられた補正指示に従って或いは自動的に手ぶれ検出／補正部１９によって補正される。このため、以下、シャッタボタン１７ａの押下に伴う上記１枚の撮影画像を、特に「補正対象画像」と呼ぶ。尚、本明細書において、画像を取得、保存、格納又は記録するという表現は、その画像の画像データを取得、保存、格納又は記録するということと同義である。

手ぶれ検出／補正部１９は、手ぶれ検出及び手ぶれ補正を行う。即ち、補正対象画像に含まれるぶれを検出し、その検出結果に従って補正対象画像を補正することにより、ぶれを除去或るいは低減した補正画像を生成する。尚、本明細書において、ぶれ又は劣化に関する「除去」とは、完全なる除去のみを意味するものではなく、ぶれ又は劣化の一部が除去されることをも含む概念である。従って、例えば、「ぶれを除去する」という表現を「ぶれを除去或いは低減する」と読み替えてもよい。

次に、手ぶれ検出及び手ぶれ補正の処理を詳細に説明する。手ぶれ検出及び手ぶれ補正の処理の例として、以下に第１〜第４処理例を説明する。或る処理例に記載した事項は、矛盾なき限り、他の処理例にも適用可能である。尚、第１〜第４処理例における記述において、画像などが記憶される「メモリ」とは、内部メモリ１４又は手ぶれ検出／補正部１９内に設けられた図示されないメモリを意味するものとする。

［第１処理例］
まず、第１処理例について説明する。図２及び図３を参照する。図２は、第１処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図３は、この動作の流れの一部を表す概念図である。この動作の流れを、図２のフローチャートに沿って説明する。

撮影モードにおいて、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像をメモリ上に記憶する（ステップＳ１及びＳ２）。第１処理例における該補正対象画像を、以下、補正対象画像Ａ１と呼ぶ。

次に、ステップＳ３において、補正対象画像Ａ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較し、露光時間Ｔ１が閾値Ｔ_THより小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図２の処理を終了する。閾値Ｔ_THとしては、例えば、手ぶれ限界露光時間を用いる。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、焦点距離ｆの逆数から算出される。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第１処理例における該参照画像を、以下、参照画像Ａ２と呼ぶ。補正対象画像Ａ１と参照画像Ａ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ａ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ａ２の露光時間は、Ｔ１／４、とされる。また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しい。

次に、ステップＳ５において、補正対象画像Ａ１の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ａ１ａとしてメモリ上に記憶する。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い（換言すれば、コントラストが比較的強い）矩形領域のことを指し、例えば、ハリス（Harris）のコーナ検出器を用いて１２８×１２８画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ（またはコントラスト量）に基づいて選定される。

次に、ステップＳ６において、補正対象画像Ａ１から抽出された小領域と同一座標の小領域を参照画像Ａ２から抽出し、参照画像Ａ２から抽出された小領域内の画像を小画像Ａ２ａとしてメモリ上に記憶する。補正対象画像Ａ１から抽出される小領域の中心座標（補正対象画像Ａ１における中心座標）と参照画像Ａ２から抽出される小領域の中心座標（参照画像Ａ２における中心座標）は等しく、また、補正対象画像Ａ１と参照画像Ａ２の画像サイズは等しいため、両小領域の画像サイズも等しくされる。

参照画像Ａ２の露光時間は比較的短いので、小画像Ａ２ａの信号対雑音比（以下、Ｓ／Ｎ比という）は比較的低い。そこで、ステップＳ７にて、小画像Ａ２ａに対してノイズ除去処理を行う。ノイズ除去後の小画像Ａ２ａを、小画像Ａ２ｂとする。ノイズ除去は、線形フィルタ（加重平均フィルタ等）や非線形フィルタ（メディアンフィルタ等）を用いて小画像Ａ２ａをフィルタリングすることにより行われる。

小画像Ａ２ｂは低輝度であるため、ステップＳ８において、小画像Ａ２ｂの輝度レベルが増加させる。即ち例えば、小画像Ａ２ｂの輝度レベルが小画像Ａ１ａの輝度レベルと等しくなるように（小画像Ａ２ｂの平均輝度と小画像Ａ１ａの平均輝度が等しくなるように）、小画像Ａ２ｂの各画素の輝度値に一定値を乗じるという輝度正規化処理を行う。このようにして輝度レベルを増加させた後の小画像Ａ２ｂを、小画像Ａ２ｃとする。

上述のようにして得られた小画像Ａ１ａを劣化画像として且つ小画像Ａ２ｃを初期復元画像として取り扱った上で（ステップＳ９）、ステップＳ１０にて、フーリエ反復法を実施し、画像劣化関数を求める。

フーリエ反復法を実施する際、初期の復元画像（復元画像の初期値）を与えてやる必要があるが、この初期の復元画像を初期復元画像と呼ぶ。

画像劣化関数として点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）を求める。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。手ぶれは画像全体に対して一様な劣化を与えるため、小領域Ａ１ａに対して求めたＰＳＦは、補正対象画像Ａ１の全体に対するＰＳＦとして利用することができる。

フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である（上記非特許文献１参照）。このフーリエ反復法を、図４及び図５を参照して詳細に説明する。図４は、図２のステップＳ１０の処理の詳細フローチャートである。図５は、フーリエ反復法を実施する部位のブロック図である。

まず、ステップＳ１０１において、復元画像をｆ’とし、この復元画像ｆ’に初期復元画像をセットする。即ち、初期の復元画像ｆ’として上記の初期復元画像（本処理例において小画像Ａ２ｃ）を用いるようにする。次に、ステップＳ１０２において、劣化画像（本処理例において小画像Ａ１ａ）をｇとする。そして、劣化画像ｇをフーリエ変換したものをＧとしてメモリ上に記憶しておく（ステップＳ１０３）。例えば、初期復元画像及び劣化画像の画像サイズが１２８×１２８画素の場合、ｆ’及びｇは、１２８×１２８の行列サイズを有する行列として表現できる。

次に、ステップＳ１１０において、復元画像ｆ’をフーリエ変換したＦ’を求め、更にステップＳ１１１において、下記式（１）によりＨを算出する。Ｈは、ＰＳＦをフーリエ変換したものに相当する。式（１）において、Ｆ’^*は、Ｆ’の共役複素行列であり、αは、定数である。

次に、ステップＳ１１２において、Ｈを逆フーリエ変換することにより、ＰＳＦを得る。ここで得られるＰＳＦをｈとする。次に、ステップＳ１１３において、ＰＳＦ ｈを下記式（２ａ）の拘束条件で修正した後、更に式（２ｂ）の拘束条件にて修正する。

ＰＳＦ ｈは、２次元の行列として表現されるため、この行列の各要素をｈ（ｘ，ｙ）で表す。ＰＳＦの各要素は、本来、０以上且つ１以下の値をとるはずである。従って、ステップＳ１１３において、ＰＳＦの各要素が０以上且つ１以下であるかを判断し、０以上且つ１以下となっている要素の値はそのままにする一方、１より大きな要素がある場合はその要素の値を１に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（２ａ）の拘束条件による修正である。そして、この修正後のＰＳＦの各要素の総和が１となるように、ＰＳＦを正規化する。この正規化が、式（２ｂ）の拘束条件による修正である。

式（２ａ）及び（２ｂ）の拘束条件によって修正されたＰＳＦを、ｈ'とする。

次に、ステップＳ１１４において、ＰＳＦ ｈ’をフーリエ変換したＨ’を求め、更にステップＳ１１５において、下記式（３）によりＦを算出する。Ｆは、復元画像ｆをフーリエ変換したものに相当する。式（３）において、Ｈ’^*は、Ｈ’の共役複素行列であり、βは、定数である。

次に、ステップＳ１１６において、Ｆを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をｆとする。次に、ステップＳ１１７において、復元画像ｆを下記式（４）の拘束条件で修正し、修正された復元画像を、新たにｆ’とする。

復元画像ｆは、２次元の行列として表現されるため、この行列の各要素をｆ（ｘ，ｙ）で表す。今、劣化画像及び復元画像の各画素の画素値が、０から２５５までのデジタル値にて表されるものとする。そうすると、復元画像ｆを表す行列の各要素（即ち、各画素値）は、本来、０以上且つ２５５以下の値をとるはずである。従って、ステップＳ１１７において、復元画像ｆを表す行列の各要素が０以上且つ２５５以下であるかを判断し、０以上且つ２５５以下となっている要素の値はそのままにする一方、２５５より大きな要素がある場合はその要素の値を２５５に修正し、且つ、０より小さい要素がある場合はその要素の値を０に修正する。これが、式（４）の拘束条件による修正である。

次に、ステップＳ１１８において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。

例えば、最新のＦ'と１つ前に得られたＦ'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。

収束条件が満たされる場合、最新のＨ'を逆フーリエ変換したものを最終的なＰＳＦとする。即ち、この最新のＨ'を逆フーリエ変換したものが、図２のステップＳ１０で求められるべきＰＳＦとなる。収束条件が満たされない場合、ステップＳ１１０に戻り、ステップＳ１１０〜Ｓ１１８の各処理を繰り返す。ステップＳ１１０〜Ｓ１１８の各処理の繰り返しにおいて、ｆ'、Ｆ'、Ｈ、ｈ、ｈ'、Ｈ'、Ｆ及びｆ（図５参照）は、順次、最新のものに更新されていく。

収束判定の指標として、他の指標を用いることも可能である。例えば、最新のＨ'と１つ前に得られたＨ'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。また例えば、上記式（２ａ）及び（２ｂ）を用いたステップＳ１１３における修正量、或いは、式（４）を用いたステップＳ１１７における修正量を収束判定の指標として用いて、上記の収束条件の成立／不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。

また、ステップＳ１１０〜Ｓ１１８から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なＰＳＦを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。

図２の各ステップの説明に戻る。ステップＳ１０にて、ＰＳＦが算出された後、ステップＳ１１に移行する。ステップＳ１１では、ステップＳ１０で求められたＰＳＦの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式（３）の右辺の一部に相当する下記式（５）にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップＳ１０におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式（５）におけるＨ’^*及びＨ’は、ステップＳ１１８の収束条件の成立直前に得られたＨ’^*及びＨ’（即ち、最終的に得られたＨ’^*及びＨ’）である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ａ１をフィルタリングすることにより、補正対象画像Ａ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第２処理例］
次に、第２処理例について説明する。

上述したように、撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行い、主制御部１３は、各フレームにて撮像部１１の出力からスルー表示用画像を生成して、順次得られるスルー表示用画像を表示部１５に順次更新表示させる。

スルー表示用画像は、動画用の画像であり、その画像サイズは、静止画としての補正対象画像のそれよりも小さい。補正対象画像は、撮像部１１の撮像素子の有効撮像領域内における全画素の画素信号から生成される一方、スルー表示用画像は、該有効撮像領域の各画素の画素信号を間引きつつ生成される。撮影画像を、有効撮像領域内における全画素の画素信号から生成される画像と考えた場合、補正対象画像は、シャッタボタン１７ａの押下に従って通常露光撮影及び記録される撮影画像そのものであり、スルー表示用画像は、各フレームの撮影画像の間引き画像に相当する。

第２処理例では、補正対象画像が撮影されるフレームの直前或いは直後のフレームの撮影画像に基づくスルー表示用画像を参照画像として利用する。以下、補正対象画像が撮影されるフレームの直前のフレームのスルー表示用画像を利用する場合を例示する。

図６及び図７を参照する。図６は、第２処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図７は、この動作の流れの一部を表す概念図である。この動作の流れを、図６のフローチャートに沿って説明する。

撮影モードにおいて、上述の如く、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ２０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ２１及びＳ２２）。第２処理例における該補正対象画像を、以下、補正対象画像Ｂ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｂ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｂ３と呼ぶ。

次に、ステップＳ２３において、補正対象画像Ｂ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較する。露光時間Ｔ１が上記閾値Ｔ_TH（例えば、焦点距離ｆの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図６の処理を終了する。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、ステップＳ２４に移行して、露光時間Ｔ１と参照画像Ｂ３を得る際の露光時間Ｔ３とを比較する。Ｔ１≦Ｔ３の場合、参照画像Ｂ３の方が手ぶれが大きいとみなし、手ぶれ補正を行わずに図６の処理を終了する。Ｔ１＞Ｔ３の場合、ステップＳ２５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｂ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｂ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１処理例で述べたものと同様である。

次に、ステップＳ２６において、小画像Ｂ３ａの座標に対応して、補正対象画像Ｂ１の中から小領域を抽出する。そして、補正対象画像Ｂ１から抽出したその小領域内の画像を補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて縮小した画像を、小画像Ｂ１ａとしてメモリ上に記憶する。つまり、小画像Ｂ１ａを生成する際、小画像Ｂ１ａとＢ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。

仮に補正対象画像Ｂ１と参照画像Ｂ３の画像サイズが等しくなるように参照画像Ｂ３を拡大したならば、補正対象画像Ｂ１から抽出される小領域の中心座標（補正対象画像Ｂ１における中心座標）と参照画像Ｂ３から抽出される小領域の中心座標（参照画像Ｂ３における中心座標）は一致する。但し、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズは実際には異なるため、両小領域の画像サイズは、補正対象画像Ｂ１と参照画像Ｂ３の画像サイズ比に応じて異なる。従って、補正対象画像Ｂ１から抽出される小領域の画像サイズに対する参照画像Ｂ３から抽出される小領域の画像サイズの比を、補正対象画像Ｂ１の画像サイズに対する参照画像Ｂ３の画像サイズの比と一致させる。そして、最終的に小画像Ｂ１ａとＢ３ａの画像サイズが等しくなうように、補正対象画像Ｂ１から抽出される小領域内の画像を縮小することにより小画像Ｂ１ａを得る。

次に、ステップＳ２７において、小画像Ｂ１ａ及びＢ３ａに対してエッジ抽出処理を施し、小画像Ｂ１ｂ及びＢ３ｂを得る。例えば、小画像Ｂ１ａの各画素に対して任意のエッジ検出オペレータを適用することにより小画像Ｂ１ａのエッジ抽出画像を生成し、このエッジ抽出画像を小画像Ｂ１ｂとする。小画像Ｂ３ｂについても同様である。

この後、ステップＳ２８において、小画像Ｂ１ｂとＢ３ｂに対して輝度正規化処理を行う。つまり、小画像Ｂ１ｂとＢ３ｂの輝度レベルが等しくなるように（小画像Ｂ１ｂの平均輝度と小画像Ｂ３ｂの平均輝度が等しくなるように）、小画像Ｂ１ｂ及び／又はＢ３ｂの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｂ１ｂ及びＢ３ｂを、小画像Ｂ１ｃ及びＢ３ｃとする。

参照画像Ｂ３としてのスルー表示用画像は動画用の画像であるため、例えば、それが動画に適した色合いを持つように動画用の画像処理を介して得られる。一方、補正対象画像Ｂ１は、シャッタボタン１７ｂの押下に伴って撮影された静止画であるため、それは静止画用の画像処理を介して得られる。両画像処理間の相違に起因して、被写体が同一であっても小画像Ｂ１ａとＢ３ａ間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、ステップＳ２７にてエッジ抽出処理を行う。更に、補正対象画像Ｂ１と参照画像Ｂ３の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制される（即ち、ぶれ検出精度が向上する）が、完全に除去されるわけではないため、その後、ステップＳ２８にて輝度正規化処理を行うようにしている。

上述のようにして得られた小画像Ｂ１ｃを劣化画像として且つ小画像Ｂ３ｃを初期復元画像として取り扱った上で（ステップＳ２９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。

例えば、スルー表示用画像と補正対象画像との画像サイズ比が３：５であって且つステップＳ１０及びＳ１１を介して得られる画像復元フィルタのサイズが３×３である場合において、図８の符号１０１に示されるような各フィルタ係数が算出されたとき、縦横拡大処理によって図８の符号１０２に示されるような５×５サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、５×５サイズの画像復元フィルタの各フィルタ係数を、ステップＳ１１にて得られる各フィルタ係数とする。尚、図８の符号１０２に対応する例では、縦横拡大処理によって補間されたフィルタ係数を０としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｂ１をフィルタリングすることにより、補正対象画像Ｂ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第３処理例］
次に、第３処理例について説明する。図９及び図１０を参照する。図９は、第３処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１０は、この動作の流れの一部を表す概念図である。この動作の流れを、図９のフローチャートに沿って説明する。

撮影モードにおいて、各フレームにてスルー表示用画像を生成し、順次、それをメモリ上に更新記憶すると共に表示部１５に更新表示する（ステップＳ３０）。そして、シャッタボタン１７ａが押下されると通常露光撮影を行い、これによって生成された補正対象画像を記憶する（ステップＳ３１及びＳ３２）。第３処理例における該補正対象画像を、以下、補正対象画像Ｃ１と呼ぶ。この時点でメモリ上に記憶されているスルー表示用画像は、補正対象画像Ｃ１が撮影されるフレームの直前フレームの撮影によって得られるスルー表示用画像であり、これを、以下、参照画像Ｃ３と呼ぶ。

次に、ステップＳ３３において、補正対象画像Ｃ１を得る際の露光時間Ｔ１と閾値Ｔ_THとを比較する。露光時間Ｔ１が上記閾値Ｔ_TH（例えば、焦点距離ｆの逆数）より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない（或いは極めて軽微である）とみなして、手ぶれ補正を行うことなく図９の処理を終了する。

露光時間Ｔ１が閾値Ｔ_THより大きい場合、露光時間Ｔ１と参照画像Ｃ３を得る際の露光時間Ｔ３とを比較し、Ｔ１≦Ｔ３の場合、参照画像Ｃ３の方が手ぶれが大きいとみなして、以下、第１処理例と同様の手ぶれ検出及び手ぶれ補正を実行する（即ち、図２のステップＳ４〜Ｓ１３と同様の処理を行うようにする）。一方、Ｔ１＞Ｔ３の場合、ステップＳ３４に移行して、通常露光撮影に続けて短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像Ｃ２としてメモリ上に記憶する。図９において、Ｔ１とＴ３の比較に関する処理内容の記載を省略しており、以下、Ｔ１＞Ｔ３である場合について説明する。

補正対象画像Ｃ１と参照画像Ｃ２は連続撮影によって得られる（即ち、隣接するフレームにて得られる）ことになるが、参照画像Ｃ２を得る際の露光時間が露光時間Ｔ１よりも短くなるように、主制御部１３は、図１の露光制御部１８を制御する。例えば、参照画像Ｃ２の露光時間は、Ｔ３／４とされる。また、補正対象画像Ｃ１と参照画像Ｃ２の画像サイズは等しい。

ステップＳ３４の後、ステップＳ３５に移行し、ハリスのコーナ検出器などを用いて参照画像Ｃ３の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ｃ３ａとしてメモリ上に記憶する。特徴的な小領域の意義及び抽出手法は、第１処理例で述べたものと同様である。

次に、ステップＳ３６において、小画像Ｃ３ａの座標に対応して、補正対象画像Ｃ１の中から小領域を抽出する。そして、補正対象画像Ｃ１から抽出した小領域内の画像を補正対象画像Ｃ１と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ１ａとしてメモリ上に記憶する。つまり、小画像Ｃ１ａを生成する際、小画像Ｃ１ａとＣ３ａの画像サイズが等しくなるように、画像サイズの正規化処理を行う。同様に、小画像Ｃ３ａの座標に対応して、参照画像Ｃ２の中から小領域を抽出する。そして、参照画像Ｃ２から抽出した小領域内の画像を参照画像Ｃ２と参照画像Ｃ３の画像サイズ比に応じて縮小した画像を、小画像Ｃ２ａとしてメモリ上に記憶する。補正対象画像Ｃ１（または参照画像Ｃ２）から小画像Ｃ１ａ（または小画像Ｃ２ａ）を得る手法は、第２処理例にて説明した補正対象画像Ｂ１から小画像Ｂ１ａを得る手法（図６のステップＳ２６）と同様である。

次に、ステップＳ３７において、小画像Ｃ３ａを基準として、小画像Ｃ２ａに対して輝度正規化処理を行う。つまり、小画像Ｃ３ａとＣ２ａの輝度レベルが等しくなるように（小画像Ｃ３ａの平均輝度と小画像Ｃ２ａの平均輝度が等しくなるように）、小画像Ｃ２ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ２ａを、小画像Ｃ２ｂとする。

ステップＳ３７の処理の後、ステップＳ３８に移行する。ステップＳ３８では、まず、小画像Ｃ３ａと小画像Ｃ２ｂとの差分画像を生成する。小画像Ｃ３ａとＣ２ｂとの間において差異がある部分についてのみ、差分画像の画素値は０以外の値をとる。そして、差分画像の各画素の画素値を重み付け係数と捉えて、小画像Ｃ３ａとＣ２ｂを加重加算することにより、小画像Ｃ４ａを生成する。

差分画像の各画素の画素値をＩ_D（ｐ，ｑ）で表し、小画像Ｃ３ａの各画素の画素値をＩ₃（ｐ，ｑ）で表し、小画像Ｃ２ｂの各画素の画素値をＩ₂（ｐ，ｑ）で表し、小画像Ｃ４ａの各画素の画素値をＩ₄（ｐ，ｑ）で表すとすると、Ｉ₄（ｐ，ｑ）は、下記式（６）によって表される。ここで、ｋは、定数であり、ｐ及びｑは、差分画像又は各小画像における、水平座標及び垂直座標を表す。

後述の説明からも明らかとなるが、小画像Ｃ４ａは、補正対象画像Ｃ１のぶれに対応するＰＳＦを算出するための画像として利用される。良好なＰＳＦを得るためには、小画像Ｃ４ａの中に、エッジ部分を適切に保存しておく必要がある。また、当然、小画像Ｃ４ａのＳ／Ｎ比が高ければ高いほど良好なＰＳＦを得ることができる。一般的に複数の画像を加算すればＳ／Ｎ比が向上するため、小画像Ｃ３ａとＣ２ｂを加算することによって小画像Ｃ４ａを生成する訳であるが、この加算によってエッジ部分がぼけてしまうと良好なＰＳＦが得られない。

そこで、上述の如く、差分画像の画素値に応じた加重加算によって小画像Ｃ４ａを生成するようにする。この加重加算の意義を、図１１を参照して補足説明する。小画像Ｃ３ａの露光時間は小画像Ｃ２ｂの露光時間よりも長いため、図１１（ａ）に示す如く、同一のエッジ体を撮影した時における前者のぶれは後者のぶれよりも通常大きくなる。従って、両小画像を単純加算すると、図１１（ａ）に示す如くエッジ部がぼやけてしまうが、図１１（ｂ）に示す如く、両小画像間の差分画像の画素値に応じて両小画像を加重加算すれば、エッジ部は比較的良好に保存される。小画像Ｃ３ａのぶれが大きいことに起因して生じた相違部分１１０（エッジ部の劣化が異なる部分）では、Ｉ_D（ｐ，ｑ）が大きくなって小画像Ｃ２ｂの重みが大きくなり、小画像Ｃ４ａに小画像３ａの大きなエッジ部劣化が反映されにくくなるからである。逆に、非相違部分１１１では、露光時間が比較的長い小画像３ａの重みが大きくなるようにしているため、Ｓ／Ｎ比の向上効果（ノイズ低減効果）も得られる。

次に、ステップＳ３９において、小画像Ｃ１ａを基準として、小画像Ｃ４ａに対して輝度正規化処理を行う。つまり、小画像Ｃ１ａとＣ４ａの輝度レベルが等しくなるように（小画像Ｃ１ａの平均輝度と小画像Ｃ４ａの平均輝度が等しくなるように）、小画像Ｃ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｃ４ａを、小画像Ｃ４ｂとする。

上述のようにして得られた小画像Ｃ１ａを劣化画像として且つ小画像Ｃ４ｂを初期復元画像として取り扱った上で（ステップＳ４０）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２処理例で説明したものと同様である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｃ１をフィルタリングすることにより、補正対象画像Ｃ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［第４処理例］
次に、第４処理例について説明する。図１２及び図１３を参照する。図１２は、第４処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。図１３は、この動作の流れの一部を表す概念図である。この動作の流れを、図１２のフローチャートに沿って説明する。

第４処理例では、まず、ステップＳ５０〜Ｓ５６の各処理が実施される。ステップＳ５０〜Ｓ５６の各処理内容は、第３処理例におけるステップＳ３０〜Ｓ３６（図９参照）のそれらと同様であるため重複する説明を割愛する。但し、第３処理例における補正画像対象Ｃ１並びに参照画像Ｃ２及びＣ３は、第４処理例において、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に読み替えられる。また例えば、参照画像Ｄ２の露光時間は、Ｔ１／４とされる。

ステップＳ５０〜Ｓ５６を経て、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３に基づく小画像Ｄ１ａ、Ｄ２ａ及びＤ３ａが得られ、その後、ステップＳ５７に移行する。

ステップＳ５７では、小画像Ｄ２ａ及びＤ３ａの内、何れか一方の小画像を小画像Ｄ４ａとして選択する。選択は、様々な指標に基づいて行うことができる。

例えば、小画像Ｄ２ａのエッジ強度と小画像Ｄ３ａのエッジ強度を比較し、エッジ強度がより大きい小画像を小画像Ｄ４ａとして選択する。小画像Ｄ４ａは、フーリエ反復法の初期復元画像の基とされるが、エッジ強度が大きい画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。例えば、小画像Ｄ２ａの各画素に対して所定のエッジ検出オペレータを適用することにより小画像Ｄ２ａのエッジ抽出画像を生成し、このエッジ抽出画像の画素値の総和を小画像Ｄ２ａのエッジ強度とする。同様にして、小画像Ｄ３ａのエッジ強度も算出される。

また例えば、参照画像Ｄ２の露光時間と参照画像Ｄ３の露光時間を比較し、より短い露光時間に対応する小画像を小画像Ｄ４ａとして選択するようにしてもよい。露光時間が短い画像ほどエッジ部に劣化が少なく、初期復元画像として好ましいと考えられるからである。また例えば、図１の操作部１７等を介して予め設定された選択情報（外部情報）に基づいて、小画像Ｄ２ａ及びＤ３ａから小画像Ｄ４ａを選択するようにしてもよい。また、上記のエッジ強度、露光時間及び選択情報を組み合せた指標値に基づいて、この選択を行うことも可能である。

次に、ステップＳ５８において、小画像Ｄ１ａを基準として、小画像Ｄ４ａに対して輝度正規化処理を行う。つまり、小画像Ｄ１ａとＤ４ａの輝度レベルが等しくなるように（小画像Ｄ１ａの平均輝度と小画像Ｄ４ａの平均輝度が等しくなるように）、小画像Ｄ４ａの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像Ｄ４ａを、小画像Ｄ４ｂとする。

上述のようにして得られた小画像Ｄ１ａを劣化画像として且つ小画像Ｄ４ｂを初期復元画像として取り扱った上で（ステップＳ５９）、ステップＳ１０に移行し、ステップＳ１０、Ｓ１１、Ｓ１２及びＳ１３の各処理が順次実行される。

ステップＳ１０〜Ｓ１３の各処理内容は、第１処理例におけるそれと同様である。但し、ステップＳ１０及びＳ１１を介して得られる画像復元フィルタの各フィルタ係数（及びステップＳ１０を介して得られるＰＳＦ）は、動画の画像サイズに適合したものであるため、それが静止画の画像サイズに適合するように縦横拡大処理を行う。この縦横拡大処理は、第２処理例で説明したものと同様である。

ステップＳ１１にて画像復元フィルタの各フィルタ係数が求められた後、ステップＳ１２に移行し、この画像復元フィルタを用いて補正対象画像Ｄ１をフィルタリングすることにより、補正対象画像Ｄ１に含まれるぶれを除去或いは低減したフィルタリング画像を生成する。フィルタリング画像には、フィルタリングに伴うリンギングが含まれうるため、これをステップＳ１３にて除去することにより、最終的な補正画像を生成する。

［各処理例に対する考察］
以下に、第１〜第４処理例を利用することの意義や変形例について記述する。

通常露光撮影よりも短い露光時間の撮影によって参照画像は、低輝度であるものの含まれる手ぶれ量が少ないため、それのエッジ成分は、手ぶれのない画像のエッジ成分に近い。従って、上述の如く、この参照画像から得られる画像をフーリエ反復法における初期復元画像（復元画像の初期値）とする。

フーリエ反復法によるループ処理の繰り返しによって、復元画像（ｆ'）は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる（最短では、１回のループ処理で収束する）。この結果、手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解（真に収束すべき画像とは異なる画像）に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる（即ち、手ぶれ補正に失敗する確率が低くなる）。

また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから手ぶれ情報（ＰＳＦ又は画像復元フィルタのフィルタ係数）を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ情報作成用の処理時間及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。

この際、各処理例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。ＰＳＦの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、手ぶれ情報をより正確に検出することができるようになる。

また、第２処理例では参照画像取得用の専用の撮影を必要とせず、第１、第３及び第４処理例でも参照画像取得用の専用の撮影（短時間露光撮影）は１回分であるため、撮影時の負荷増大は殆どない。また、言うまでもないが、角速度センサ等を用いることなく手ぶれ検出及び手ぶれ補正を行うため、撮像装置１の低コスト化が図られる。

また、第１、第３又は第４処理例において（図３、図１０又は図１３参照）、参照画像Ａ２、Ｃ２又はＤ２は補正対象画像を得るための通常露光撮影の直後の短時間露光撮影によって得られると説明したが、それらを、その通常露光撮影の直前の短時間露光撮影によって得るようにしても構わない。この場合、第３又は第４処理例における参照画像Ｃ３又はＤ３を、補正対象画像を撮影するフレームの直後のフレームにおけるスルー表示用画像とすればよい。

また、各処理例では、各小画像からフーリエ反復法に対する劣化画像及び初期復元画像を生成する過程において、各小画像に対して、ノイズ除去処理、輝度正規化処理、エッジ抽出処理及び画像サイズ正規化処理（図３、図７、図１０及び図１３参照）の内の何れか１以上の処理を適用している。各処理例で述べたこれらの処理の適用方法は、あくまで例であり、様々に変更可能である。極端には、各処理例における劣化画像及び初期復元画像の生成過程において、各小領域に対して上記の４つの処理の全てを施すことも可能である（但し、第１処理例においては、画像サイズ正規化処理は無意味である）。

また、補正対象画像または参照画像からエッジ成分を比較的多く含む特徴的な小領域を抽出する手法として、様々な手法が採用可能である。例えば、オートフォーカス制御において算出されるＡＦ評価値を流用して、この抽出を行ってもよい。このオートフォーカス制御は、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いる。

撮像装置１にはＡＦ評価部（不図示）が設けられており、ＡＦ評価部は、各撮影画像（又は各スルー表示用画像）を複数の分割領域に分割して、分割領域内の画像のコントラスト量に応じたＡＦ評価値を分割領域ごとに算出する。図１の主制御部１３は、上記複数の分割領域の内の何れかの分割領域についてのＡＦ評価値を参照して、このＡＦ評価値が最大値（或いは極大値）をとるように山登り制御によって撮像部１１のフォーカスレンズの位置を制御することにより、被写体の光学像を撮像素子の撮像面上に結像させる。

このようなオートフォーカス制御が実行される場合において、補正対象画像または参照画像から特徴的な小領域を抽出する際、その抽出元画像の各分割領域についてのＡＦ評価値を参照するようにする。例えば、抽出元画像の各分割領域についてのＡＦ評価値の内、最大のＡＦ評価値を特定し、その最大のＡＦ評価値に対応する分割領域（又は該分割領域を基準とした領域）を特徴的な小領域として抽出するようにする。ＡＦ評価値は、分割領域内の画像のコントラスト量（或いはエッジ成分）の増大に伴って増大するため、これによっても、エッジ成分を比較的多く含む小領域を特徴的な小領域として抽出することが可能である。

＜＜第２実施形態＞＞
次に、本発明の第２実施形態に係る撮像装置を説明する。第２実施形態に係る撮像装置の全体ブロック図は、図１に示すそれと同じであるため、第２実施形態に係る撮像装置も符号１によって参照することとする。第２実施形態に係る撮像装置１も、符号１１〜１９にて参照される各部位を備え（図１参照）、それらの各部位の基本的な動作は第１実施形態におけるそれと同様である。第２実施形態は、第１実施形態にて述べた技術内容を利用した実施形態であり、第１実施形態の記載内容は第２実施形態にも適用される。

図１４は、撮像装置１に含まれる、撮影に関与する部位の構成を表すブロック図であり、図１５は、撮像装置１に含まれる、再生に関与する部位の構成を表すブロック図である。図１６は、撮影に関与する部位の動作手順を表すフローチャートであり、図１７は、再生に関与する部位の動作手順を表すフローチャートである。

例えば、図１４の画像取得部３１は図１の主制御部１３に備えられ、図１４の小画像切出部３２及び記録制御部３３は図１の手ぶれ検出／補正部１９に備えられる。また例えば、図１５の読出制御部４１、復元関数生成部４２及び復元処理部４３は、図１の手ぶれ検出／補正部１９に備えられる。図１４及び図１５において、符号ＦＬ１は、補正対象画像が記録されるべき画像ファイルである。画像ファイルＦＬ１は、記録媒体１６に保存される。

図１８に、画像ファイルＦＬ１を含む、記録媒体１６に保存されるべき画像ファイルの構成を示す。画像ファイルはヘッダ領域と本体領域から形成され、同一の画像ファイル内に定義されたヘッダ領域と本体領域は互いに関連付けられている。従って、同一の画像ファイル内に格納された、ヘッダ領域及び本体領域の各データは互いに関連付けられている。

図１４及び図１６を参照して、撮影時の動作を概略的に説明する。撮影モードにおいてシャッタボタン１７ａが押下された時、画像取得部３１は、その押下後の露光によって得られた１枚の撮影画像を補正対象画像として取得すると共に、その補正対象画像の撮影前又は撮影後に得られた撮影画像を参照画像として取得する。この参照画像の撮影時における露光時間は、第１実施形態で述べたように、補正対象画像のそれよりも短い。

小領域切出部３２は、参照画像の一部である小画像を参照画像から切り出す。記録制御部３３は、切り出された小画像の画像データ及び小画像の切り出し位置を表す切り出し位置データを画像ファイルＦＬ１のヘッダ領域に記録する。一方で、補正対象画像の画像データは、画像ファイルＦＬ１の本体領域に記録される。

補正対象画像は、シャッタボタン１７ａの押下に伴って画像ファイルＦＬ１に記録されるべき「主画像」とも呼べ、画像ファイルＦＬ１のヘッダ領域に記録される小画像は、補正対象画像のぶれによる劣化を補正するための「副画像」とも呼べる。

図１５及び図１７を参照して、再生時の動作を概略的に説明する。再生モードにおいて、画像ファイルＦＬ１内に記録された画像の再生を指示する操作が図１の操作部１７に対して施されると、その操作内容は図１の主制御部１３に伝達され、画像ファイルＦＬ１に記録された補正対象画像の画像データが主制御部１３を介して図１５の復元処理部４３及び復元関数生成部４２に送られる。一方において、この時、読出制御部４１は、画像ファイルＦＬ１のヘッダ領域に記録されている小画像の画像データと切り出し位置データを読み出して、読み出したデータを復元関数生成部４２に送る。

その後、復元関数生成部４２は、読み出された小画像（副画像）と、切り出し位置データに基づいて補正対象画像（主画像）から切り出された小画像と、を用いて復元関数を生成する。より具体的には、両小画像に基づいて第１実施形態で述べたフーリエ反復法を実行することにより、補正対象画像のぶれによる劣化の状態を推定し（即ち、ＰＳＦを求め）、その劣化を補正するための復元関数を生成する。この復元関数は画像復元フィルタによって表され、復元処理部４３は、この画像復元フィルタを用いて補正対象画像をフィルタリングすることにより、補正画像を生成する。実際には、復元関数生成部４２が画像復元フィルタの各フィルタ係数を算出して復元処理部４３に送る。復元処理部４３には、画像に二次元空間フィルタを適用する部位が設けられており、受けとった各フィルタ係数を二次元空間フィルタに当てはめることにより画像復元フィルタが形成される。

尚、補正対象画像及び参照画像から切り出される小画像の各画素値は、第１実施形態の記述内容からも明らかなように、画素の輝度を表す情報を含む。即ち例えば、それらの小画像は、輝度画像（輝度によって量子化された濃淡画像）である。

以下、図１４及び図１５に示す各部位の動作を、第１実施形態にて述べた第１〜第４処理例に対応させて説明する。以下に、第１〜第４処理例に対応する第１〜第４動作例を個別に説明する。或る動作例に記載した事項は、矛盾なき限り、他の動作例にも適用可能である。

［第１動作例］
まず、第１動作例について説明する。第１動作例では、第１実施形態の第１処理例を実施する場合における、図１４及び図１５に示す各部位の動作を説明する。第１処理例に対応する図２及び図３も再び参照する。

第１動作例において、図１４の画像取得部３１は、補正対象画像Ａ１及び参照画像Ａ２を取得する（図３参照）。第１動作例において、小画像切出部３２によって切り出される小画像は、図３の小画像Ａ２ａである。例えば、小画像切出部３２は、図２のステップＳ５及びＳ６の処理を行うことにより小画像Ａ２ａを切り出す（抽出する）。この場合、小画像Ａ１ａが抽出されてから小画像Ａ２ａが抽出されることになるが、小画像Ａ１ａを抽出することなく小画像Ａ２ａだけを抽出するようにしてもよい。つまり、ハリスのコーナ検出器などを用いて参照画像Ａ２の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像Ａ２ａとして参照画像Ａ２から切り出しても良い。

第１動作例において、画像ファイルＦＬ１のヘッダ領域に記録される画像データは、小画像Ａ２ａの画像データである。画像ファイルＦＬ１のヘッダ領域に記録される切り出し位置データによって、再生時に、補正対象画像Ａ１から切り出される小画像Ａ１ａの座標位置は定まる。例えば、この切り出し位置データは、小画像Ａ２ａの左上隅及び右下隅に位置する画素２０１及び２０２の、参照画像Ａ２上の座標値を表す（図１９参照）。

復元関数生成部４２は、読出制御部４１を介して与えられた切り出し位置データに基づいて、補正対象画像Ａ１から小領域を抽出して小画像Ａ１ａを生成する。また、復元関数生成部４２は、ステップＳ７及びＳ８の処理を介して画像ファイルＦＬ１のヘッダ領域内に記録された小画像Ａ２ａから小画像Ａ２ｃを生成し（図２及び図３参照）、小画像Ａ１ａ及びＡ２ｃを用いてステップＳ９〜Ｓ１１の処理を実行することにより、劣化関数としてのＰＳＦの算出を介して復元関数（即ち、画像復元フィルタの各フィルタ係数）を求める。

補正対象画像は、ぶれのない理想画像に対して劣化関数を作用させることによって得られた画像と仮定される。一方で、復元関数は、画像に劣化関数を作用させる変換の逆の変換を行う関数である。従って、補正対象画像に復元関数を作用させれば、補正対象画像からぶれが除去される。

復元処理部４３は、求められた復元関数を用いて、ステップＳ１２及びＳ１３の処理を実行することにより、補正対象画像Ａ１からフィルタリング画像の生成を介して補正画像を生成する。

例えば、画像復元フィルタのフィルタサイズが５×５である場合、フィルタリング画像を形成する画素の画素値と、補正対象画像を形成する画素の画素値との関係は、下記式（７）によって表される。ここで、Ｉ_F（ｉ，ｊ）は、フィルタリング画像の座標位置（ｉ，ｊ）の画素の画素値を表し、Ｉ_O（ｉ＋ｕ，ｊ＋ｖ）は、補正対象画像の座標位置（ｉ＋ｕ，ｊ＋ｖ）の画素の画素値を表し、ｗ（ｕ，ｖ）は、画像復元フィルタの座標位置（ｕ，ｖ）のフィルタ係数を表す。

補正画像は、フィルタリング画像と補正対象画像を加重平均することによって得られる。この加重平均によって、フィルタリングによって生じたリンギングが除去される。例えば、この加重平均は、画素ごとに行われ、画素ごとの加重平均の比率は、補正対象画像の各画素のエッジ強度に応じて定められる。この加重平均よるリンギング除去手法は、公知であるため、詳細な説明を割愛する（例えば、特開２００６−１２９２３６号公報参照）。尚、加重平均よるリンギング除去処理を省略することも可能であり、この場合は、フィルタリング画像を最終的に求められるべき補正画像と捉えればよい（これは、後述の第２〜第４動作例にも当てはまる）。フィルタリング画像も、ぶれが除去された画像であることに相違はない。

尚、上述の例では、撮影時において図３の小画像Ａ２ａを画像ファイルＦＬ１に記録するようにしているが、小画像Ａ２ａの代わりに、小画像Ａ２ｂ又はＡ２ｃを記録するようにしてもよい。この場合、図２０に示す如く、小画像切出部３２と記録制御部３３との間に画像処理部３４を設ければよい。そして例えば、画像処理部３４が、小画像切出部３２が抽出した小画像Ａ２ａに対して、ステップＳ７のノイズ除去処理などの第１処理例で述べた必要な処理を行うことにより、小画像Ａ２ｂ又はＡ２ｃを生成する。記録制御部３３は、画像処理部３４によって生成された小画像Ａ２ｂ又はＡ２ｃを画像ファイルＦＬ１のヘッダ領域に記録すれば良い。この場合、図１５の復元関数生成部４２においてステップＳ７及びＳ８の処理の一部又は全部を行う必要がなくなる。

［第２動作例］
次に、第２動作例について説明する。第２動作例では、第１実施形態の第２処理例を実施する場合における、図１４及び図１５に示す各部位の動作を説明する。第２処理例に対応する図６及び図７も再び参照する。

第２動作例において、図１４の画像取得部３１は、補正対象画像Ｂ１及び参照画像Ｂ３を取得する（図７参照）。第２動作例において、小画像切出部３２によって切り出される小画像は、図７の小画像Ｂ３ａである。小画像切出部３２は、図６のステップＳ２５の処理を行うことにより小画像Ｂ３ａを抽出する。

第２動作例において、画像ファイルＦＬ１のヘッダ領域に記録される画像データは、小画像Ｂ３ａの画像データである。画像ファイルＦＬ１のヘッダ領域に記録される切り出し位置データによって、再生時に、補正対象画像Ｂ１から切り出される小画像Ｂ１ａの座標位置は定まる。例えば、この切り出し位置データは、小画像Ｂ３ａの左上隅及び右下隅に位置する画素の、参照画像Ｂ３上の座標値を表す。

復元関数生成部４２は、読出制御部４１を介して与えられた切り出し位置データに基づいてステップＳ２６の処理を実行することにより、補正対象画像Ｂ１から小画像Ｂ１ａを生成する。また、復元関数生成部４２は、ステップＳ２７及びＳ２８の処理を介して、小画像Ｂ１ａから小画像Ｂ１ｃを生成すると共に画像ファイルＦＬ１のヘッダ領域内に記録された小画像Ｂ３ａから小画像Ｂ３ｃを生成する（図６及び図７参照）。続いて、小画像Ｂ１ｃ及びＢ３ｃを用いてステップＳ２９並びにＳ１０及びＳ１１の処理を実行することにより、劣化関数としてのＰＳＦの算出を介して復元関数（即ち、画像復元フィルタの各フィルタ係数）を求める。

その後、復元処理部４３は、ステップＳ１２及びＳ１３の処理を実行することにより、補正対象画像Ｂ１からフィルタリング画像の生成を介して補正画像を生成する。

尚、上述の例では、撮影時において図７の小画像Ｂ３ａを画像ファイルＦＬ１に記録するようにしているが、小画像Ｂ３ａの代わりに、小画像Ｂ３ｂ又はＢ３ｃを記録するようにしてもよい。この場合、図２０に示す如く、小画像切出部３２と記録制御部３３との間に画像処理部３４を設ければよい。そして例えば、画像処理部３４が、小画像切出部３２が抽出した小画像Ｂ３ａに対して、ステップＳ２７のエッジ抽出処理などの第２処理例で述べた必要な処理を行うことにより、小画像Ｂ３ｂ又はＢ３ｃを生成する。記録制御部３３は、画像処理部３４によって生成された小画像Ｂ３ｂ又はＢ３ｃを画像ファイルＦＬ１のヘッダ領域に記録すれば良い。この場合、図１５の復元関数生成部４２においてステップＳ２７及びＳ２８の処理の一部又は全部を行う必要がなくなる。

［第３動作例］
次に、第３動作例について説明する。第３動作例では、第１実施形態の第３処理例を実施する場合における、図１４及び図１５に示す各部位の動作を説明する。第３処理例に対応する図９及び図１０も再び参照する。

第３動作例において、図１４の画像取得部３１は、補正対象画像Ｃ１並びに参照画像Ｃ２及びＣ３を取得する（図１０参照）。第３動作例において、小画像切出部３２によって切り出される小画像は、図１０の小画像Ｃ２ａ及びＣ３ａである。小画像切出部３２は、図６のステップＳ３５及びＳ３６の処理を行うことにより小画像Ｃ２ａ及びＣ３ａを抽出する。

第３動作例において、画像ファイルＦＬ１のヘッダ領域に記録される画像データは、例えば、図１０の小画像Ｃ４ａ又はＣ４ｂの画像データである。この場合、図２０に示す如く、小画像切出部３２と記録制御部３３との間に画像処理部３４を設けて、画像処理部３４に図９のステップＳ３７及びＳ３８の処理又はステップＳ３７〜Ｓ３９の処理を行わせればよい。画像ファイルＦＬ１のヘッダ領域に記録される切り出し位置データによって、再生時に、補正対象画像Ｃ１から切り出される小画像Ｃ１ａの座標位置は定まる。例えば、この切り出し位置データは、小画像Ｃ３ａの左上隅及び右下隅に位置する画素の、参照画像Ｃ３上の座標値を表す。

復元関数生成部４２は、読出制御部４１を介して与えられた切り出し位置データに基づいて、補正対象画像Ｃ１から小領域を抽出して小画像Ｃ１ａを生成する。また、復元関数生成部４２は、画像ファイルＦＬ１のヘッダ領域内に記録された小画像の画像データに基づいて小画像Ｃ４ｂを得る。この際、必要に応じてステップＳ３９の処理を実行する。続いて、小画像Ｃ１ａ及びＣ４ｂを用いてステップＳ４０並びにＳ１０及びＳ１１の処理を実行することにより、劣化関数としてのＰＳＦの算出を介して復元関数（即ち、画像復元フィルタの各フィルタ係数）を求める。

その後、復元処理部４３は、ステップＳ１２及びＳ１３の処理を実行することにより、補正対象画像Ｃ１からフィルタリング画像の生成を介して補正画像を生成する。

尚、上述の例では、撮影時において図１０の小画像Ｃ４ａ又はＣ４ｂを画像ファイルＦＬ１に記録するようにしているが、それの代わりに、２つの小画像Ｃ２ａ及びＣ３ａを画像ファイルＦＬ１のヘッダ領域に記録するようにしてもよい。この場合、図２０の画像処理部３４を省略する一方で、小画像Ｃ２ａ及びＣ３ａから小画像Ｃ４ｂを生成する機能を図１５の復元関数生成部４２に担わせればよい。

［第４動作例］
次に、第４動作例について説明する。第４動作例では、第１実施形態の第４処理例を実施する場合における、図１４及び図１５に示す各部位の動作を説明する。第４処理例に対応する図１２及び図１３も再び参照する。

第４動作例において、図１４の画像取得部３１は、補正対象画像Ｄ１並びに参照画像Ｄ２及びＤ３を取得する（図１３参照）。第４動作例において、小画像切出部３２によって切り出される小画像は、図１３の小画像Ｄ２ａ及びＤ３ａである。小画像切出部３２は、図６のステップＳ５５及びＳ５６の処理を行うことにより小画像Ｄ２ａ及びＤ３ａを抽出する。

第４動作例において、画像ファイルＦＬ１のヘッダ領域に記録される画像データは、例えば、図１３の小画像Ｄ４ａ又はＤ４ｂの画像データである。この場合、図２０に示す如く、小画像切出部３２と記録制御部３３との間に画像処理部３４を設けて、画像処理部３４に図１２のステップＳ５７の処理又はステップＳ５７及びＳ５８の処理を行わせればよい。画像ファイルＦＬ１のヘッダ領域に記録される切り出し位置データによって、再生時に、補正対象画像Ｄ１から切り出される小画像Ｄ１ａの座標位置は定まる。例えば、この切り出し位置データは、小画像Ｄ３ａの左上隅及び右下隅に位置する画素の、参照画像Ｄ３上の座標値を表す。

復元関数生成部４２は、読出制御部４１を介して与えられた切り出し位置データに基づいて、補正対象画像Ｄ１から小領域を抽出して小画像Ｄ１ａを生成する。また、復元関数生成部４２は、画像ファイルＦＬ１のヘッダ領域内に記録された小画像の画像データに基づいて小画像Ｄ４ｂを得る。この際、必要に応じてステップＳ５８の処理を実行する。続いて、小画像Ｄ１ａ及びＤ４ｂを用いてステップＳ５９並びにＳ１０及びＳ１１の処理を実行することにより、劣化関数としてのＰＳＦの算出を介して復元関数（即ち、画像復元フィルタの各フィルタ係数）を求める。

その後、復元処理部４３は、ステップＳ１２及びＳ１３の処理を実行することにより、補正対象画像Ｄ１からフィルタリング画像の生成を介して補正画像を生成する。

尚、上述の例では、撮影時において図１３の小画像Ｄ４ａ又はＤ４ｂを画像ファイルＦＬ１に記録するようにしているが、それの代わりに、２つの小画像Ｄ２ａ及びＤ３ａを画像ファイルＦＬ１のヘッダ領域に記録するようにしてもよい。この場合、図２０の画像処理部３４を省略する一方で、小画像Ｄ２ａ及びＤ３ａから小画像Ｄ４ｂを生成する機能を図１５の復元関数生成部４２に担わせればよい。

本実施形態の如く、参照画像から切り出した小画像を補正対象画像と共に画像ファイルに記録しておくようにすれば、再生時に、補正対象画像のぶれを補正することができる。また、小画像の画像データ量は小さいため、従来の如く２枚の撮影画像を単純に記録しておく場合と比べて、必要な記録容量が削減される。

＜＜第３実施形態＞＞
第２実施形態では、１枚の参照画像から１つの小画像を切り出して１枚の補正対象画像に対して１つの復元関数を生成し、１つの復元関数を補正対象画像の全体に対して作用させることにより補正対象画像の劣化を補正しているが、１枚の参照画像から複数の小画像を切り出すようにしても良い。１枚の参照画像から複数の小画像を切り出す実施形態として、第３実施形態を説明する。第３実施形態は、第２実施形態を変形した実施形態に相当する。このため、第２実施形態との相違点に着目した説明を以下に記述する。尚、第３実施形態は、第１及び第２実施形態にて述べた技術内容を利用した実施形態であり、矛盾無き限り、第１及び第２実施形態の記載内容を第３実施形態に適用することも可能である。

説明の具体化のため、図１４の画像取得部３１が、図３の補正対象画像Ａ１及び参照画像Ａ２を取得した場合を想定する。図１４の小画像切出部３２は、参照画像Ａ２の全体領域をｎ個に分割する（ｎは２以上の整数）。今、ｎ＝９とし、参照画像Ａ２の全体領域を縦方向に３分割且つ横方向に３分割することにより、参照画像Ａ２の全体領域を、図２１に示す如く９個の部分領域で分割する。図２１において、破線は分割の境界を示している。そして、ハリスのコーナ検出器などを用いることによって、部分領域ごとに特徴的な小領域を抽出し、各小領域内の画像を小画像として参照画像Ａ２から切り出す。記録制御部３３は、切り出された合計９個の小画像の画像データ及び各小画像の切り出し位置を表す切り出し位置データを画像ファイルＦＬ１のヘッダ領域に記録する。一方で、補正対象画像Ａ１の画像データは、画像ファイルＦＬ１のヘッダ領域に記録される。

再生モードにおいて、画像ファイルＦＬ１内に記録された画像の再生を指示する操作が図１の操作部１７に対して施されると、その操作内容は図１の主制御部１３に伝達され、画像ファイルＦＬ１に記録された補正対象画像の画像データが主制御部１３を介して図１５の復元処理部４３及び復元関数生成部４２に送られる。一方において、この時、読出制御部４１は、画像ファイルＦＬ１のヘッダ領域に記録されている各小画像の画像データと各切り出し位置データを読み出して、読み出したデータを復元関数生成部４２に送る。

参照画像Ａ２の全体領域を９つの部分領域に分割するのと同じようにして、復元関数生成部４２は、補正対象画像Ａ１の全体領域を９つの部分領域に分割する（図２１参照）。そして、復元関数生成部４２は、各切り出し位置データに基づいて補正対象画像から部分領域ごとに小画像を切り出し、部分領域ごとに補正対象画像Ａ１内の小画像と参照画像Ａ２内の小画像を用いてフーリエ反復法を実行することにより、各部分領域に対して個別に復元関数を生成する。各復元関数は画像復元フィルタによって表され、復元処理部４３は、補正対象画像Ａ１内の各部分領域の画像に対して対応する画像復元フィルタを用いたフィルタリング処理を実行することにより、フィルタリング画像を生成し、更にリンギング除去処理を介して補正画像を生成する。

撮像装置１に作用する手ぶれの方向が上下方向及び／又は左右方向のみである場合、手ぶれは画像全体に一様な劣化を与えると考えられるが、回転方向の手ぶれが加わると、劣化関数（ＰＳＦ）が補正対象画像内の異なる位置間で異なってくる。結果、作用させるべき復元関数も補正対象画像内の異なる位置間で異なってくる。このような場合に、複数の小画像を切り出して記録しておく手法は有益である。

また例えば、撮影領域内に被写体距離の近い人物と被写体距離の遠い山が混在する場合、人物が描画されている領域に対して最適な復元関数と山が描画されている領域に対して最適な復元関数は異なる（両者間で劣化関数が異なるため）。このような混在が起きている場合にも、複数の小画像を切り出して記録しておく手法は有益である。例えば、測距センサ（不図示）又はＴＴＬ（Through The Lens）方式の測距を用いて撮影領域に収まる各被写体の被写体距離を算出し、図２２に示す如く、参照画像Ａ２の全体領域を、被写体距離の比較的小さい被写体が描画されている第１の部分領域と被写体距離の比較的大きい被写体が描画されている第２の部分領域に分割する（この場合、ｎ＝２である）。この後の動作内容は、ｎの値が異なるだけで、上述したものと同じである。ここで、被写体距離とは、被写体と撮像装置１との間の実空間上の距離を意味する。

尚、第１処理例及び第１動作例に対応する補正対象画像Ａ１及び参照画像Ａ２を取得した場合の動作を例示したが、第２処理例及び第２動作例、第３処理例及び第３動作例、又は、第４処理例及び第４動作例に対しても、本実施形態で述べた手法は適用可能である。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１５の読出制御部４１、復元関数生成部４２及び復元処理部４３を、撮像装置１以外の他の装置（例えば、パーソナルコンピュータ）に設けることも可能である。

［注釈２］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１４、図１５及び図２０に示される各部位（但し、記録媒体１６を除く）の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置１の外部装置（コンピュータ等）にて実現することも可能である。

ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図１４、図１５及び図２０に示される各部位（但し、記録媒体１６を除く）にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈３］
例えば、以下のように考えることができる。図１４又は図２０の画像取得部３１、小画像切出部３２及び記録制御部３３は、画像記録装置を形成する。この画像記録装置には、図２０の画像処理部３４が含まれうる。図１５の読出制御部４１、復元関数生成部４２及び復元処理部４３は、画像補正装置を形成する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 本発明の第１実施形態の第１処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図２の動作の流れの一部を表す概念図である。 図２のフーリエ反復法の詳細フローチャートである。 図２のフーリエ反復法を実現する構成のブロック図である。 本発明の第１実施形態の第２処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図６の動作の流れの一部を表す概念図である。 第２処理例にて実行される、画像復元フィルタのフィルタ係数の縦横拡大処理を説明するための図である。 本発明の第１実施形態の第３処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図９の動作の流れの一部を表す概念図である。 第３処理例にて実行される加重加算処理の意義を説明するための図である。 本発明の第１実施形態の第４処理例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表すフローチャートである。 図１２の動作の流れの一部を表す概念図である。 本発明の第２実施形態に係り、図１の撮像装置に含まれる、撮影に関与する部位の構成を表すブロック図である。 本発明の第２実施形態に係り、図１の撮像装置に含まれる、再生に関与する部位の構成を表すブロック図である。 図１４に示される部位の動作手順を示すフローチャートである。 図１５に示される部位の動作手順を示すフローチャートである。 図１の記録媒体に保存される画像ファイルの構成を示す図である。 小画像の切り出し位置データを説明するための図である。 図１４の構成の変形例を示すブロック図である。 本発明の第３実施形態に係り、補正対象画像及び参照画像の夫々の全体領域が９つの部分領域に分割される様子を示す図である。 本発明の第３実施形態に係り、参照画像の全体領域が複数の部分領域に分割される様子を示す図である。 従来のフーリエ反復法を実現する構成のブロック図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 主制御部
１６ 記録媒体
１９ 手ぶれ検出／補正部
３１ 画像取得部
３２ 小画像切出部
３３ 記録制御部
３４ 画像処理部
４１ 読出制御部
４２ 復元関数生成部
４３ 復元処理部
ＦＬ１ 画像ファイル

Claims (9)

1. 撮像手段から主画像を取得して前記主画像を記録媒体に記録する画像記録装置において、
   前記撮像手段から前記主画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された短露光画像をも取得する画像取得手段と、
   前記短露光画像から一部画像を切り出す一部画像切出手段と、
   前記一部画像の切り出し位置とともに前記一部画像から得た副画像を、前記主画像に関連付けて前記記録媒体に記録する記録制御手段と、を備えた
   ことを特徴とする画像記録装置。
2. 前記一部画像切出手段によって切り出された前記一部画像に対して所定の画像処理を加える画像処理手段を更に備え、
   前記記録制御手段は、前記画像処理後の前記一部画像を前記副画像として前記記録媒体に記録する
   ことを特徴とする請求項１に記載の画像記録装置。
3. 前記短露光画像は、第１及び第２の参照画像を含み、
   前記一部画像切出手段は、各参照画像から一部画像を切り出し、
   前記副画像は、各参照画像の一部画像を加重加算することにより得られる
   ことを特徴とする請求項１に記載の画像記録装置。
4. 前記短露光画像は、第１及び第２の参照画像を含み、
   前記一部画像切出手段は、各参照画像から一部画像を切り出し、
   前記副画像は、第１の参照画像の一部画像、又は、第２の参照画像の一部画像から得られる
   ことを特徴とする請求項１に記載の画像記録装置。
5. 請求項１〜４の何れかに記載の記録媒体から前記副画像及び前記切り出し位置を読み出す読出制御手段と、
   前記読出制御手段の読出内容を用いて、前記記録媒体に記録された前記主画像を補正する補正手段と、を備えた
   ことを特徴とする画像補正装置。
6. 前記補正手段は、読み出された前記切り出し位置に基づいて前記主画像から一部画像を切り出し、前記主画像の一部画像と前記副画像に基づいて、前記主画像を補正する
   ことを特徴とする請求項５に記載の画像補正装置。
7. 前記補正手段は、前記主画像の一部画像と前記副画像に基づき、前記主画像のぶれによる劣化の状態を推定して前記劣化を補正するための復元関数を生成する復元関数生成手段を備え、前記復元関数を前記主画像に作用させることによって前記主画像の前記劣化を補正する
   ことを特徴とする請求項６に記載の画像補正装置。
8. 請求項１〜４の何れかに記載の画像記録装置及び撮像手段を備えた
   ことを特徴とする撮像装置。
9. 撮像手段から主画像を取得して前記主画像を記録媒体に記録する画像記録方法において、
   前記撮像手段から前記主画像を取得する際、前記原画像の露光時間よりも短い露光時間にて撮影された短露光画像をも取得する画像取得ステップと、
   前記短露光画像から一部画像を切り出す一部画像切出ステップと、
   前記一部画像の切り出し位置とともに前記一部画像から得た副画像を、前記主画像に関連付けて前記記録媒体に記録する記録制御ステップと、を備えた
   ことを特徴とする画像記録方法。

Images