JP2009194896A - 画像処理装置及び方法並びに撮像装置 - Google Patents

画像処理装置及び方法並びに撮像装置 Download PDF

Info

Publication number
JP2009194896A
JP2009194896A JP2008306297A JP2008306297A JP2009194896A JP 2009194896 A JP2009194896 A JP 2009194896A JP 2008306297 A JP2008306297 A JP 2008306297A JP 2008306297 A JP2008306297 A JP 2008306297A JP 2009194896 A JP2009194896 A JP 2009194896A
Authority
JP
Japan
Prior art keywords
image
resolution
low
images
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008306297A
Other languages
English (en)
Inventor
Seiji Okada
誠司 岡田
Satoru Takeuchi
悟 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008306297A priority Critical patent/JP2009194896A/ja
Priority to US12/353,447 priority patent/US8315474B2/en
Publication of JP2009194896A publication Critical patent/JP2009194896A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】超解像処理によって得られる高解像度画像の画質を向上させる。
【解決手段】超解像処理によって複数の低解像度画像から１枚の高解像度画像を生成する超解像部（５０）において、各低解像度画像に含まれるぼけの大きさを推定するぼけ量推定部（５２）と、その推定結果に基づいて最もぼけの大きさの小さい低解像度画像を基準画像として設定すると共に他の低解像度画像を参照画像として設定する基準画像設定部（５３）と、基準画像と参照画像との間の位置ずれ量をサブピクセル精度で求める位置ずれ検出部（５４）と、を備え、求めた位置ずれ量と複数の低解像度画像を用い、基準画像を基準として高解像度化を行うことによって高解像度画像を生成する。
【選択図】図４

Description

本発明は、画像処理を行う画像処理装置及び画像処理方法並びにそれらを利用した撮像装置に関する。特に本発明は、複数の低解像度画像から高解像度画像を生成する超解像処理技術に関する。
低い解像度の画像を高解像度化する画像処理技術として超解像処理が提案されている。超解像処理を行う装置は、位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の高解像度化を行うことにより１枚の高解像度画像を生成する。この高解像度化は、複数の低解像度画像の中から選択された基準画像を基準として行なわれ、位置ずれ量算出などは、基準画像を基準として行われる。このため、得られる高解像度画像の内容（画質や構図を含む）は、基準画像に大きく依存する。尚、基準画像は、基準フレーム、ターゲットフレーム又は対象画像などとも呼ばれる。
一般的には、基準画像は、連続的な撮影によって得られた時系列で並ぶ画像列の内の、最も早く生成された画像とされる（例えば、特許文献１参照）。
特開２００５−１９７９１０号公報 特開２００７−１５１０８０号公報
上述したように、高解像度化によって得られる高解像度画像の内容は基準画像に大きく依存するため、より望ましい高解像度画像を得るためには、基準画像の選択方法に工夫が必要である。
そこで本発明は、望ましい高解像度画像の生成に寄与する画像処理装置及び画像処理方法並びに撮像装置を提供することを目的とする。
本発明に係る画像処理装置は、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置において、前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を備え、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。
具体的には例えば、当該画像処理装置は、前記画像情報に基づいて各低解像度画像に含まれるぼけの大きさを推定するぼけ量推定手段を更に備え、前記基準画像設定手段は、前記ぼけ量推定手段の推定結果に基づいて前記基準画像を選択する。
これにより、得られる高解像度画像の画質向上が期待される。
更に具体的には例えば、前記ぼけ量推定手段は、各低解像度画像における高域周波数成分の量に基づいて、各低解像度画像に含まれるぼけの大きさを推定する。
或いは具体的には例えば、前記複数の低解像度画像は、撮像装置による順次撮影にて得られた時系列に並ぶ低解像度画像列を形成し、前記ぼけ量推定手段は、前記低解像度画像列中の時間的に隣接する低解像度画像間の位置ずれ量に基づいて前記低解像度画像列の撮影期間中における前記撮像装置のぶれの状態を検出し、前記ぶれの状態の検出結果から、前記複数の低解像度画像間における、前記ぼけの大きさの大小関係を推定する。
そして例えば、前記基準画像設定手段は、前記複数の低解像度画像の内、推定されたぼけの大きさが最も小さい低解像度画像を前記基準画像として選択する。
高解像度化の基準となる基準画像としてぼけの小さい画像を選択するようにすれば、無作為に基準画像を選択した場合と比べて、得られる高解像度画像の画質を向上させることができる。
また例えば、各低解像度画像は撮像装置の撮影によって得られ、前記画像情報は、各低解像度画像の露光期間中における前記撮像装置のぶれの状態を検出するセンサの検出データを含み、前記基準画像設定手段は、前記センサの検出データに基づいて前記基準画像を選択する。
そして例えば、前記基準画像設定手段は、前記複数の低解像度画像の内、露光期間中における前記撮像装置のぶれの大きさが最も小さい低解像度画像を前記基準画像として選択する。
高解像度化の基準となる基準画像として露光期間中における撮像装置のぶれが小さい画像を選択するようにすれば、無作為に基準画像を選択した場合と比べて、得られる高解像度画像の画質を向上させることができる。
また例えば、当該画像処理装置は、前記画像情報に基づいて、各低解像度画像に含まれる特定被写体の、画像上の大きさを検出する被写体サイズ検出手段を更に備え、前記基準画像設定手段は、検出された前記特定被写体の大きさに基づいて前記基準画像を選択するようにしてもよい。
或いは例えば、当該画像処理装置は、前記画像情報に基づいて各低解像度画像の中から人物の顔を検出するとともに前記顔の状態を検出する顔状態検出手段を更に備え、前記基準画像設定手段は、前記顔状態検出手段の検出結果に基づいて前記基準画像を選択するようにしてもよい。
また具体的には例えば、前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、当該画像処理装置は、前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えている。
本発明に係る第１の撮像装置は、順次撮影によって時系列に並ぶ複数の低解像度画像を取得する撮像手段と、前記複数の低解像度画像に対する高解像度化処理によって高解像度画像を生成する上記の画像処理装置と、を備えたことを特徴とする。
本発明に係る第２の撮像装置は、撮像素子及び被写体に応じた光学像を前記撮像素子上に結像させるための光学系を有して撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を導出する焦点評価値導出手段とを備え、前記焦点評価値に基づいて前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、前記撮像手段から得た複数の撮影画像を複数の低解像度画像として参照して、前記複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置を更に備え、前記画像処理装置は、各低解像度画像に対して導出された前記合焦評価値に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を備え、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。
これにより、ユーザにとってより望ましい内容の高解像度画像を生成することが可能となる。
具体的には例えば、前記オートフォーカス制御では、前記焦点評価値が極大値をとるように前記光学系が駆動制御され、前記基準画像設定手段は、前記複数の低解像度画像の内、最大の合焦評価値に対応する低解像度画像を前記基準画像として選択する。
これにより、ユーザの着目被写体が焦点評価領域に配置された構図を有する低解像度画像が基準画像として選択されやすくなる。結果、ユーザにとってより望ましい構図の高解像度画像を生成することが可能となる。
また具体的には例えば、第２の撮像装置において、前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、前記画像処理装置は、前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えている。
本発明に係る画像処理方法は、複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理方法において、前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択し、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成することを特徴とする。
尚、本発明に係る低解像度画像の画像情報は、低解像度画像の各画素の輝度及び／又は色を表す画像データを含み、更に、上述の検出データを含みうる。
本発明によれば、望ましい高解像度画像の生成に寄与する画像処理装置及び画像処理方法並びに撮像装置を提供することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第８実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。尚、動画撮影機能を省略し、撮像装置１を静止画のみを撮影可能なデジタルスチルカメラとすることも可能である。
［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、ＶＲＡＭ（Video Random Access Memory）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。
撮像部１１は、撮像素子（イメージセンサ）３３の他、光学系、絞り及びドライバ（図１において不図示）を備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。
マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。
圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。
録画ボタン２６ａは、動画の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画の撮影及び記録を指示するための押しボタンスイッチである。
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、外部メモリ１８に格納された動画及び静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から時系列で並ぶ画像列が取得される。この画像列を形成する各画像を「フレーム画像」と呼ぶ。
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画又は静止画を表す圧縮された映像信号は、伸張処理部１９にて伸張されてからＶＲＡＭ２０に書き込まれる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は順次ＶＲＡＭ２０に書き込まれる。
表示部２７は、液晶ディスプレイなどの表示装置であり、ＶＲＡＭ２０に書き込まれた映像信号に応じた画像を表示する。また、再生モードにおいて動画を再生する際、外部メモリ１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
映像信号処理部１３は、ＣＰＵ２３と協働しつつ、超解像処理を実施することが可能に形成されている。超解像処理によって、複数の低解像度画像から１枚の高解像度画像が生成される。この高解像度画像の映像信号を、圧縮処理部１６を介して外部メモリ１８に記録することができる。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の水平方向及び垂直方向の画素数は、低解像度画像のそれよりも多い。例えば、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施することにより高解像度画像を生成する。或いは例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。
超解像処理の基本概念について簡単に説明する。例として、再構成型方式を用いた超解像処理を説明する。図２に、再構成型方式の一種であるＭＡＰ（Maximum A Posterior）方式を用いた超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「観測低解像度画像」と呼び、推定された低解像度画像を特に「推定低解像度画像」と呼ぶ。その後、観測低解像度画像と推定低解像度画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。
図３に、超解像処理の流れをフローチャートにて表す。まず、ステップＳ１１にて初期高解像度画像が生成される。この初期高解像度画像は、後述の基準画像から生成される。続くステップＳ１２にて、現時点の高解像度画像を構築する元の観測低解像度画像を推定する。推定された画像を、上述したように推定低解像度画像と呼ぶ。続くステップＳ１３では、観測低解像度画像と推定低解像度画像との差分画像に基づいて現時点の高解像度画像に対する更新量を導出する。この更新量は、ステップＳ１２〜Ｓ１４の各処理の反復実行によって観測低解像度画像と推定低解像度画像との誤差が最小化されるように導出される。そして、続くステップＳ１４にて、その更新量を用いて現時点の高解像度画像を更新し、新たな高解像度画像を生成する。この後、ステップＳ１２に戻り、新たに生成された高解像度画像を現時点の高解像度画像と捉えて、ステップＳ１２〜Ｓ１４の各処理が反復実行される。基本的に、ステップＳ１２〜Ｓ１４の各処理の反復回数が増大するほど、得られる高解像度画像の解像度が実質的に向上し、理想に近い高解像度画像が得られる。
上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。撮像装置１にて実施される超解像処理は、どのような方式の超解像処理であっても構わないが、本実施形態では再構成型方式の超解像処理を採用した場合を説明する。再構成型方式は、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などを含むが、本実施形態では、ＭＡＰ法を採用した構成を例にとる。
超解像処理に関する実施例として、以下に第１〜第８実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能される。
＜＜第１実施例＞＞
まず、第１実施例について説明する。図４は、超解像処理を担う超解像部５０の内部ブロック図である。符号５１、５２及び５４〜５７にて参照される各部位は図１の映像信号処理部１３内に設けられ、第１、第２、第３、第４のフレームメモリ６１、６２、６３及び６４は図１の内部メモリ１７内に設けられる。基準画像設定部５３の機能はＣＰＵ２３にて実現される。但し、基準画像設定部５３の機能を映像信号処理部１３にて実現させるようにしてもよい。以下、第１、第２、第３、第４のフレームメモリを、単に、フレームメモリと略記する。フレームメモリ６１〜６３は、観測低解像度画像としてのフレーム画像の画像データを記憶するためのメモリであり、フレームメモリ６４は、高解像度画像の画像データを記憶するためのメモリである。図５は、図４の各部位の動作の流れを時系列的に示した図であり、図５の横方向が時間方向に対応する。尚、或る注目した画像の画像データとは、その注目した画像の輝度及び色を表すデータ（例えば、ＲＧＢ信号やＹＵＶ信号）である。
第１実施例では、３枚の観測低解像度画像から１枚の高解像度画像を生成する場合を例にとる。３枚の観測低解像度画像は、連続して撮影された３つのフレーム画像である。この３枚の観測低解像度画像をＬ1、Ｌ2及びＬ3にて表すこととし、観測低解像度画像Ｌ1、Ｌ2及びＬ3の順番で撮影がなされたものとする。以下の説明において、観測低解像度画像Ｌ1、Ｌ2及びＬ3をそれぞれ画像Ｌ1、Ｌ2及びＬ3と略記することもある（後述のＬ4等についても同様）。画像Ｌ1、Ｌ2及びＬ3の内、異なる２枚の画像間には、手ぶれ等に由来する位置ずれが生じているものとする。
画像Ｌ1、Ｌ2及びＬ3の順番で撮影が行われるため、選択部５１及びぼけ量推定部５２に、まず画像Ｌ1を表す画像データが入力され、次に画像Ｌ2を表す画像データが入力され、更にその次に画像Ｌ3を表す画像データが入力される。選択部５１は、入力された観測低解像度画像の画像データが記憶されるフレームメモリを選択する。具体的には、選択部５１は、画像Ｌ1の画像データ、画像Ｌ2の画像データ及び画像Ｌ3の画像データを、夫々、フレームメモリ６１、６２及び６３に送って記憶させる。
ぼけ量推定部５２は、入力された画像に含まれるぼけの大きさ（以下、ぼけ量という）を推定するための部位であり、ぼけ量に応じたぼけ量評価値を算出する。ぼけ量推定部５２は、最初に画像Ｌ1の画像データに基づいて画像Ｌ1のぼけ量に応じたぼけ量評価値を算出し、次に画像Ｌ2の画像データに基づいて画像Ｌ2のぼけ量に応じたぼけ量評価値を算出し、更にその次に画像Ｌ3の画像データに基づいて画像Ｌ3のぼけ量に応じたぼけ量評価値を算出する。各ぼけ量評価値は、順次、基準画像設定部５３に伝達される。
撮像装置１を手で支持する場合などにおいては、観測低解像度画像の露光期間中に、撮像装置１の筐体に所謂手ぶれが作用しうる。また、所謂被写体ぶれが生じる場合もある。被写体ぶれとは、露光期間中に被写体が実空間上で動くことによって生じる、画像上における被写体のぶれのことを意味する。着目した観測低解像度画像に関して手ぶれや被写体ぶれが生じると、着目した観測低解像度画像の全体又は一部が手ぶれや被写体ぶれに由来してぼける。ぼけ量推定部５２は、観測低解像度画像の画像データに基づいて、この手ぶれや被写体ぶれに由来するぼけの大きさを推定する。
ぼけ量推定部５２は、例えば、手ぶれや被写体ぶれが生じると画像内の高域周波数成分が減衰するという特性を利用してぼけ量を推定する。つまり、観測低解像度画像における所定の高域周波数成分を抽出し、抽出した高域周波数成分の量に基づいてぼけ量を推定する。高域周波数成分の量は、高域周波数成分の強度とも換言される。
図６を参照して、１枚の観測低解像度画像に対するぼけ量評価値の算出方法を説明する。図６は、ぼけ量推定部５２として利用可能なぼけ量推定部の内部ブロック図である。図６のぼけ量推定部は、抽出部７１、ＨＰＦ（ハイパスフィルタ）７２及び積算部７３を有して構成される。
抽出部７１には、観測低解像度画像の映像信号が与えられる。抽出部７１は、その映像信号の中から、観測低解像度画像内に定義された評価領域内の輝度信号を抽出する。評価領域は、例えば、観測低解像度画像内の全体領域である。但し、観測低解像度画像内の一部領域（例えば、後述の第５実施例にて述べる主要被写体領域）を評価領域として設定することも可能である。ＨＰＦ７２は、抽出部７１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ７２を、図７に示すような空間フィルタとしての、３×３のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタを評価領域内の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ７２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。尚、ＨＰＦ７２を周波数フィルタにて形成するようにし、フーリエ変換を用いて周波数領域上で高域周波数成分を抽出するようにしてもよい。
積算部７３は、ＨＰＦ７２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ７２の出力値の絶対値）を積算し、積算値をぼけ量評価値として出力する。或る観測低解像度画像に対するぼけ量評価値は、その観測低解像度画像におけるぼけ量が小さくなるに従って増大する。
３枚の観測低解像度画像Ｌ1〜Ｌ3を高解像度化することによって１枚の高解像度画像を生成する際、３枚の画像Ｌ1〜Ｌ3の内の１枚が高解像度化の基準となる基準画像として設定され、他の２枚が参照画像として設定される。基準画像を、基準フレーム又は基準フレーム画像と読み替えることもでき、参照画像を、参照フレーム又は参照フレーム画像と読み替えることもできる。高解像度画像を生成するために必要な位置ずれ量は基準画像を基準にして算出される。また、基準画像は初期高解像度画像の生成の元ともされる。このため、最終的に得られる高解像度画像の画質は基準画像に大きく依存する。そこで、基準画像設定部５３は、ぼけ量評価値に基づいて基準画像及び参照画像を設定する処理を行う。具体的には、観測低解像度画像Ｌ1〜Ｌ3の内、最もぼけ量が小さいと推定された観測低解像度画像を基準画像として設定すると共に残りの２枚の観測低解像度画像を参照画像として設定する。ぼけ量が小さいとぼけ量評価値は大きくなるため、ぼけ量評価値が最も大きい観測低解像度画像が基準画像として設定される。
今、基準画像に対応する観測低解像度画像の番号をａで表し、且つ、２枚の参照画像に対応する観測低解像度画像の番号をｂ及びｃで表す。基準画像が画像Ｌ1である場合はａ＝１且つｂ＝２且つｃ＝３であり、基準画像が画像Ｌ2である場合はａ＝２且つｂ＝１且つｃ＝３であり、基準画像が画像Ｌ3である場合はａ＝３且つｂ＝１且つｃ＝２である。基準画像の設定後、図４の基準画像設定部５３は、ａ、ｂ及びｃの値に基づいて、位置ずれ検出部５４、初期高解像度画像生成部５５及び超解像度処理部５７が読み出すべき観測低解像度画像の順番を制御する。つまり、それらが、どのタイミングでどのフレームメモリの画像データを読み出すべきかを制御する。
位置ずれ検出部５４は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、２枚の観測低解像度画像間の位置ずれ量を算出する。ここで算出される位置ずれ量は、観測低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、観測低解像度画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。位置ずれ量は、水平成分及び垂直成分を含む二次元量であり、動き量又は動きベクトルとも呼ばれる。
位置ずれ検出部５４は、基準画像を基準とし、基準画像と各参照画像との間における位置ずれ量を算出する。従って、基準画像の設定後、位置ずれ検出部５４には、まず観測低解像度画像Ｌa及びＬbの画像データが入力され、観測低解像度画像Ｌaを基準とした、観測低解像度画像ＬaとＬbとの間の位置ずれ量Ｖabが算出される（図５参照）。次に、位置ずれ検出部５４には、観測低解像度画像Ｌa及びＬcの画像データが入力され、観測低解像度画像Ｌaを基準とした、観測低解像度画像ＬaとＬcとの間の位置ずれ量Ｖacが算出される。
一方において、基準画像の設定後、初期高解像度画像生成部５５（以下、生成部５５と略記する）は、基準画像である観測低解像度画像Ｌaに基づいて初期高解像度画像Ｈ0を生成する（図５参照）。この生成処理は、図３のステップＳ１１の処理に相当する。初期高解像度画像Ｈ0は、最終的に生成されるべき高解像度画像の初期画像に相当する。以下、初期高解像度画像Ｈ0を、単に高解像度画像Ｈ0又は画像Ｈ0と呼ぶこともある。例えば、線形補間やバイキュービック補間を用いて観測低解像度画像Ｌaの水平及び垂直方向の画素数を増大させた画像を画像Ｈ0として生成する。生成された画像Ｈ0の画像データはフレームメモリ６４に記憶される。
図４の選択部５６は、生成部５５にて生成された画像（即ち、画像Ｈ0）及びフレームメモリ６４に記憶されている画像の内の一方を選択し、選択した画像の画像データを超解像処理部５７に与える。画像Ｈ0が生成された直後は画像Ｈ0が選択部５６にて選択され、画像Ｈ0と異なる高解像度画像が超解像処理部５７にて生成された後は、フレームメモリ６４に記憶されている画像が選択部５６にて選択される。
また、超解像処理部５７には、フレームメモリ６１〜６３から観測低解像度画像Ｌa、Ｌb及びＬcの画像データが入力される。超解像処理部５７は、ＭＡＰ法に基づき、画像Ｈ0と観測低解像度画像Ｌa、Ｌb及びＬcと位置ずれ量Ｖab及びＶacを用い、推定低解像度画像の生成を介して画像Ｈ0に対する更新量を求める。この処理は、１回目のステップＳ１２及びＳ１３の処理に相当する（図３参照）。そして、画像Ｈ0を該更新量にて更新することにより高解像度画像Ｈ1（以下、画像Ｈ1と略記することがある）を生成する。これは、１回目のステップＳ１４の処理に相当する（図３参照）。尚、画像Ｈ1が生成された後は、図４において太線で示されたラインだけが有意に機能する。
生成された画像Ｈ1の画像データはフレームメモリ６４に上書き記憶されると共に選択部５６を介して超解像処理部５７に再度入力される。超解像処理部５７は、画像Ｈ0から画像Ｈ1を生成したのと同様の方法にて画像Ｈ1を更新することにより高解像度画像Ｈ2（以下、画像Ｈ2と略記することがある）を生成する。画像Ｈ2の画像データはフレームメモリ６４に上書き記憶される。画像Ｈ1から画像Ｈ2が生成される処理は、２回目のステップＳ１２〜Ｓ１４の処理に相当する。
このように、超解像処理部５７にて、高解像度画像を更新して新たな高解像度画像を生成するための、ステップＳ１２〜Ｓ１４の各処理から成る演算処理が反復実行される。この演算処理を、以下、超解像演算処理と呼ぶ。ｎを自然数とした場合、ｎ回目の超解像演算処理によって高解像度画像Ｈn-1から高解像度画像Ｈnが生成される。以下の説明では、ｎは０以上の整数であるとする。
図８に、超解像処理部５７の内部ブロック図を示す。今、行列表現された高解像度画像Ｈnをｘnで表し、行列表現された観測低解像度画像Ｌkをｙkで表す。即ち例えば、行列ｘnは、高解像度画像Ｈnを形成する各画素の画素値を書き並べたものである。ｋは１、２又は３の値をとる。
そうすると、高解像度画像Ｈn+1に対する行列ｘn+1は下記式（Ａ−１）に従って導出され、この導出によって高解像度画像Ｈn+1が生成される。式（Ａ−１）の右辺第２項は、超解像処理部５７によって算出されるべき、高解像度画像Ｈnに対する更新量を表している。ｋNUMは観測低解像度画像の枚数を表し、今の例においてｋNUM＝３である。式（Ａ−１）に基づいて高解像度画像を更新していくことにより、下記式（Ａ−２）に表す、ＭＡＰ法における評価関数Ｉが最小化されることになる。式（Ａ−２）におけるｘは、或る回数分だけ超解像演算処理を行った時の、行列表現された高解像度画像を表している。
行列Ｗkと行列ｘnとの積によって、観測低解像度画像Ｌkの推定画像としての推定低解像度画像が表される。Ｗkは、高解像度画像Ｈnから観測低解像度画像Ｌkの推定画像を生成するための行列であって、位置ずれ検出部５４で算出した位置ずれ量、高解像度画像から低解像度画像への低解像度化によって生じる画像ぼけを表す点広がり関数（Point Spread Function）、及び、高解像度画像から低解像度画像へのダウンサンプリングを含めた画像変換行列である。（ｙk−Ｗkｘn）は、観測低解像度画像Ｌkとそれの推定画像に相当する推定低解像度画像との差分画像を表している。尚、添え字Ｔが付された行列は、元の行列の転置行列を表す。従って例えば、Ｗk Tは行列Ｗkの転置行列を表す。
また、Ｃは正則化のための行列であり、αは正則化パラメータである。行列Ｃは、例えば「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、行列表現されたラプラシアンフィルタなどによって形成される。また、βは、フィードバック量を制御するためのパラメータである。
超解像処理部５７における超解像演算処理の反復回数が規定回数に達すると、規定回数分の超解像演算処理によって得られた最新の高解像度画像が、最終的に求められるべき高解像度画像として超解像処理部５７から出力される。また、超解像演算処理の反復回数に関わらず、最新の高解像度画像に対する更新量が十分に小さくなり更新量が収束したと判断される場合は、その最新の高解像度画像を最終的に求められるべき高解像度画像として超解像処理部５７から出力するようにしてもよい。
ぼけ量の大きな画像を基準画像として設定すると、算出される位置ずれ量の精度が悪くなる。超解像処理では、算出された位置ずれ量に基づいて高解像度化が図られるため、位置ずれ量の精度劣化は高解像度画像の画質劣化に繋がる。また、ぼけ量の大きな画像を基準画像として設定すると、最終的に得るべき高解像度画像の初期状態（即ち、初期高解像度画像）の画質が悪くなり、理想的な高解像度画像を得がたくなる。本実施例では、ぼけ量の小さい画像を基準画像として選択するようにしているため、得られる高解像度画像の画質が向上する。
ぼけ量が比較的大きい図９（ａ）の画像２０１とぼけ量が比較的小さい図９（ｂ）の画像２０２を用い、ぼけ量の小さい画像を基準画像として選択することによる効果を実験によって検証した。この実験では、用意した理想的な高解像度画像の解像度を縮小率５０％の間引き処理によって低下させることで３枚の画像を生成し、３枚の画像の内の１つを意図的にぼけさせることで、その画像に大きなぼけを含ませた。そして、ぼけの少ない２枚の画像を２枚の観測低解像度画像として且つぼけの多い１枚の画像を１枚の観測低解像度画像として取り扱い、観測低解像度画像の２倍の解像度を有する高解像度画像を超解像処理によって再構成した。ぼけの少ない２枚の観測低解像度画像は図９（ｂ）の画像２０２に相当し、ぼけの多い１枚の観測低解像度画像は図９（ａ）の画像２０１に相当する。また、異なる２枚の観測低解像度画像間に位置ずれを生じさせた。
図１０（ａ）及び（ｂ）は、夫々、画像２０１及び２０２にハイパスフィルタ（図７のラプラシアンフィルタ）を適用した場合に得られる画像２０１及び２０２の高域抽出画像２１１及び２１２を表している。図１０（ａ）及び（ｂ）では、高域抽出画像における画素値が小さい画素ほど黒く示している。画像２０１に含まれる大きなぼけに起因して、高域抽出画像２１１の全体が黒くなっている。画像２０１及び２０２を図６のぼけ量推定部に与えた時、画像２０１に対して算出されるぼけ量評価値（ＨＰＦ積算値）は、画像２０２に対して算出されるそれの１／２０程度であった。
実験では、図４の超解像処理部５７から出力される高解像度画像と理想的な高解像度画像とのＰＳＮＲ（Peak Signal to Noise Ratio）を求めた。周知の如く、ＰＳＮＲは対比される画像間の類似性を表す指標であり、その類似性が高いほどＰＳＮＲは高くなる。図１１は、このＰＳＮＲの、超解像演算処理の反復回数依存性を表すグラフである。図１１の折れ線２２１は、画像２０１に対応するぼけの多い観測低解像度画像を基準画像に設定した場合におけるＰＳＮＲの反復回数依存性を表し、図１１の折れ線２２２は、画像２０２に対応するぼけの少ない観測低解像度画像を基準画像に設定した場合におけるＰＳＮＲの反復回数依存性を表している。ぼけの多い画像を基準画像に設定する場合と比べてぼけの少ない画像を基準画像に設定した方が、２ｄＢほどＰＳＮＲが高くなっている。この実験からも、ぼけ量の小さい画像を基準画像として選択することの優位性が理解される。
尚、フレームメモリ６１〜６４を含む内部メモリ１７に対する画像データの読み書きタイミングについて補足説明を加える。図１２を参照する（図５も参照）。図１２は、画像データの読み書きタイミングについて特に着目した、超解像処理の動作の流れを表すフローチャートである。
最初に、ステップＳ２１において、観測低解像度画像Ｌ1〜Ｌ3の画像データが順次内部メモリ１７に書き込まれる。画像Ｌ1〜Ｌ3から基準画像が選択された後、ステップＳ２１からステップＳ２２に移行する。ステップＳ２２では、位置ずれ検出部５４が、基準画像としての画像Ｌa及び参照画像としての画像Ｌbの各画像データを内部メモリ１７から読み出して位置ずれ量Ｖabを算出し、続いて、基準画像としての画像Ｌa及び参照画像としての画像Ｌcの各画像データを内部メモリ１７から読み出して位置ずれ量Ｖacを算出する。一方、ステップＳ２３において、生成部５５は、画像Ｌaの画像データを内部メモリ１７から読み出して初期高解像度画像を生成する。生成された初期高解像度画像の画像データは内部メモリ１７に書き込まれる。その後、続くステップＳ２４では、画像Ｌ1〜Ｌ3と現時点の高解像度画像の各画像データが内部メモリ１７から読み出され、上述の超解像演算処理によって高解像度画像が更新され、且つ、更新された高解像度画像の画像データが内部メモリ１７に書き込まれる。超解像演算処理を反復実行する場合は、ステップＳ２４の処理が繰り返し実行される。尚、ステップＳ２２、Ｓ２３及びＳ２４における内部メモリ１７からの同一の画像データの読み出しを同時に行うようにしても構わない。例えば、ステップＳ２２における画像Ｌaの画像データの読み出しとステップＳ２３におけるそれを同時に行っても構わない。
上述の如く、画像Ｌ1〜Ｌ3から基準画像が選択された後に位置ずれ量の算出処理を実行する場合は、ステップＳ２２の段階で、内部メモリ１７から観測低解像度画像の画像データを４回（４枚分）読み出す必要がある（画像Ｌa及びＬbの画像データの読み出しと、画像Ｌa及びＬcの画像データの読み出し）。
この読み出し回数の低減に寄与すべく、基準画像の選択処理と位置ずれ量の算出処理を並行して行うようにしても良い。この場合、観測低解像度画像が得られる度に、時間的に隣接する２枚の観測低解像度画像間で位置ずれ量（後述のＶ12及びＶ23）の算出を行うようにし、基準画像が設定された後に、算出しておいた位置ずれ量を、基準画像と各参照画像との間の位置ずれ量（上述のＶab及びＶac）に変換すればよい。
具体的には以下のように処理する。画像Ｌ1が取得されて画像Ｌ1の画像データが内部メモリ１７に書き込まれた後、画像Ｌ2が取得されると、画像Ｌ2の画像データが内部メモリ１７に書き込まれ且つ位置ずれ検出部５４に送られる。これと同時に、画像Ｌ1の画像データが内部メモリ１７から読み出されて位置ずれ検出部５４に送られる（この段階で、１回目の画像データ読み出しが実行される）。そして、位置ずれ検出部５４は、画像Ｌ1を基準とした、画像Ｌ1と画像Ｌ2との間の位置ずれ量Ｖ12を算出する。
この後、画像Ｌ3が取得されると、画像Ｌ3の画像データが内部メモリ１７に書き込まれ且つ位置ずれ検出部５４に送られる。これと同時に、画像Ｌ2の画像データが内部メモリ１７から読み出されて位置ずれ検出部５４に送られる（この段階で、２回目の画像データ読み出しが実行される）。そして、位置ずれ検出部５４は、画像Ｌ2を基準とした、画像Ｌ2と画像Ｌ3との間の位置ずれ量Ｖ23を算出する。
他方、位置ずれ量Ｖ12及びＶ23の算出と並行し、ぼけ量推定部５２によって画像Ｌ1〜画像Ｌ3に対するぼけ量評価値の算出が行われ、算出されたぼけ量評価値に基づいて基準画像が設定される。位置ずれ検出部５４は、設定された基準画像が画像Ｌ1〜Ｌ3の何れであるかに基づいて、位置ずれ量Ｖ12及びＶ23を基準画像からみた参照画像の位置ずれ量Ｖab及びＶacに変換する。この変換によってＶab及びＶacが求められた後の動作は、上述してきた通りである。例えば、Ｖ12＝（０．５，０．５）且つＶ23＝（−０．２５，−０．２５）であると共にａ＝３、ｂ＝１且つｃ＝２である時は、Ｖab＝Ｖ31＝Ｖ32＋Ｖ21＝−Ｖ23−Ｖ12＝（０．２５，０．２５）−（０．５，０．５）＝（−０．２５，−０．２５）に従ってＶabが求められ、Ｖac＝Ｖ32＝−Ｖ23＝（０．２５，０．２５）に従ってＶacが求められる。
このように、基準画像の選択処理と位置ずれ量の算出処理を並行して行うことにより、位置ずれ量の変換処理が必要となることに由来して位置ずれ量Ｖab及びＶacの検出精度が若干劣化するものの、画像データの読み出し回数が２回分低減され、消費電力の低減が図られる。尚、基準画像の選択処理と位置ずれ量の算出処理を並行して行うことは、後述の他の実施例にも適用可能である。
＜＜第２実施例＞＞
次に、第２実施例を説明する。第２実施例においても図４の超解像部５０を用いることができるが、第１及び第２実施例間でぼけ量の推定方法が異なる。この相違点について説明する。第２実施例において特に述べない事項は、第１実施例に記載の事項が適用される。
説明の便宜上、第２実施例では、４枚の観測低解像度画像から１枚の高解像度画像を生成する場合を例にとる。４枚の観測低解像度画像は、連続して撮影された４つのフレーム画像である。この４枚の観測低解像度画像をＬ1、Ｌ2、Ｌ3及びＬ4にて表すこととし、画像Ｌ1、Ｌ2、Ｌ3及びＬ4の順番で撮影がなされたものとする。尚、超解像処理に利用される観測低解像度画像の枚数が４枚であることに鑑み、超解像部５０のフレームメモリの個数は図４のそれから変更される。
第２実施例において、図４の位置ずれ検出部５４は、時間的に隣接する２枚の観測低解像度画像間の位置ずれ量（所謂フレーム間動きベクトル）を順次算出する。即ち、第１実施例でも述べた位置ずれ量Ｖ12及びＶ23と、画像Ｌ3を基準とした、画像Ｌ3と画像Ｌ4との間の位置ずれ量Ｖ34を算出する。ぼけ量推定部５２は、算出された位置ずれ量Ｖ12、Ｖ23及びＶ34に基づき、画像列Ｌ1〜Ｌ4の撮影期間中において撮像装置１に作用した手ぶれの状態（換言すれば、撮像装置１のぶれの状態）を推定し、その推定結果に基づいて観測低解像度画像Ｌ1〜Ｌ4のぼけ量の大小関係を推定する。基準画像設定部５３は、ぼけ量推定部５２の推定結果に基づき、最小のぼけ量に対応する観測低解像度画像を基準画像として設定し、残りの３枚の観測低解像度画像を参照画像として設定する。
図１３等を参照して、より具体的に説明する。図１３の曲線２４０は、第１具体例における、位置ずれ量の大きさの変化の様子を示している。図１３及び後述の図１４のグラフにおいて、横軸は時間を表し且つ縦軸は位置ずれ量の大きさを表しており、横軸はフレーム番号にも対応している。画像Ｌ1〜Ｌ4のフレーム番号は、夫々、１〜４である。
点２４１、２４２及び２４３は、夫々、第１具体例における位置ずれ量Ｖ12、Ｖ23及びＶ34の大きさを表す点である。二次元量である位置ずれ量Ｖ12、Ｖ23及びＶ34の大きさを、夫々、｜Ｖ12｜、｜Ｖ23｜及び｜Ｖ34｜にて表現する。点２４１〜２４３が曲線２４０上にのるように補間法を用いて曲線２４０が形成される。曲線２４０のような、補間法を用いて位置ずれ量Ｖ12、Ｖ23及びＶ34の大きさを繋ぎ合わせて形成される線を手ぶれ量軌跡と呼ぶ。手ぶれ量軌跡は、画像Ｌ1〜Ｌ4の撮影期間（それらの露光期間を含む）中において撮像装置１に作用した手ぶれの大きさ（換言すれば、手ぶれに由来する撮像装置１のぶれの大きさ）の時間変化を表すものである、と解釈することができる。図１３に示す例の如く不等式「｜Ｖ12｜＞｜Ｖ23｜＜｜Ｖ34｜」が成立する場合、スプライン補間等によって手ぶれ量軌跡が描かれる。
尚、補間法を用いて手ぶれ量軌跡を形成するに際し、位置ずれ量Ｖ12、Ｖ23及びＶ34の大きさに加えて、画像Ｌ1の撮影直前に撮影されるフレーム画像Ｌ0と画像Ｌ1との間の位置ずれ量Ｖ01、及び、画像Ｌ4と画像Ｌ4の撮影直後に撮影されるフレーム画像Ｌ5との間の位置ずれ量Ｖ45をも利用するようにしてもよい。
点２４５は、手ぶれ量軌跡２４０上の位置ずれ量の大きさが極小となる点を表している。ぼけ量推定部５２は、この極小点２４５の、時間方向における位置に最も近いフレーム番号を最小手ぶれフレーム番号として特定する。そして、最小手ぶれフレーム番号に対応する観測低解像度画像の露光期間中に作用した手ぶれの大きさが他の何れの観測低解像度画像のそれよりも小さく、結果、最小手ぶれフレーム番号に対応する観測低解像度画像のぼけ量（手ぶれに由来するぼけ量）が他の何れの観測低解像度画像のそれよりも小さいと推定する。
基準画像設定部５３は、最小手ぶれフレーム番号に対応する観測低解像度画像を基準画像として設定し且つ残りの３枚の観測低解像度画像を参照画像として設定する。図１３の例においては、点２４５は点２４２と点２４３の間に位置するため、最小手ぶれフレーム番号は「３」であると共に最小手ぶれフレーム番号に対応する観測低解像度画像はＬ3である。故に、画像Ｌ3が基準画像に設定され、画像Ｌ1、Ｌ2及びＬ4が参照画像に設定される。
不等式「｜Ｖ12｜＞｜Ｖ23｜＜｜Ｖ34｜」が成立しない場合における最小手ぶれフレーム番号の決定方法を説明する。図１４の手ぶれ量軌跡２５０は、第２具体例における、位置ずれ量の大きさの変化の様子を示している。点２５１、２５２及び２５３は、夫々、第２具体例における位置ずれ量Ｖ12、Ｖ23及びＶ34の大きさを表す点であり、補間法を用いて点２５１〜２５３を繋ぎ合わせることにより手ぶれ量軌跡２５０が形成される。
図１４に対応する第２具体例においては、不等式「｜Ｖ12｜＞｜Ｖ23｜＞｜Ｖ34｜」が成立しているため、画像Ｌ1〜Ｌ4の撮影期間（それらの露光期間を含む）中において撮像装置１に作用した手ぶれの大きさは徐々に減少していたことが分かる。この場合、最小手ぶれフレーム番号は「４」であると決定される。逆に、不等式「｜Ｖ12｜＜｜Ｖ23｜＜｜Ｖ34｜」が成立している場合は、最小手ぶれフレーム番号は「１」であると決定される。また、不等式「｜Ｖ12｜＜｜Ｖ23｜＞｜Ｖ34｜」及び「｜Ｖ12｜＞｜Ｖ34｜」が成立する場合は最小手ぶれフレーム番号を「４」に決定し、不等式「｜Ｖ12｜＜｜Ｖ23｜＞｜Ｖ34｜」及び「｜Ｖ12｜＜｜Ｖ34｜」が成立する場合は最小手ぶれフレーム番号を「１」に決定すればよい。最小手ぶれフレーム番号が決定された後の処理内容は、上述した通りである。
尚、以下のようにして最小手ぶれフレーム番号を決定するようにしてもよい。位置ずれ量Ｖ01及びＶ12の大きさの和、位置ずれ量Ｖ12及びＶ23の大きさの和、位置ずれ量Ｖ23及びＶ34の大きさの和、及び、位置ずれ量Ｖ34及びＶ45の大きさの和を、夫々、フレーム番号１、２、３及び４に対応付けて求め、それらの４つの和の内の最小値に対応するフレーム番号を最小手ぶれフレーム番号に決定する。
＜＜第３実施例＞＞
第１及び第２実施例で述べたぼけ量の推定方法は一例であって、それらと異なる方法にてぼけ量の推定を行っても構わない。ぼけ量の推定方法の変形例を示す実施例として第３実施例を説明する。第３実施例は第１実施例と組み合わせて実施される。
例えば、観測低解像度画像の輝度値のヒストグラムにおける分散に基づいてぼけ量の推定を行うようにしてもよい。この方法を用いる場合、図４のぼけ量推定部５２は、観測低解像度画像の各画素の輝度信号を抽出して観測低解像度画像の輝度値（即ち、輝度信号の値）のヒストグラムを生成する。そして、そのヒストグラムの分散をぼけ量評価値として算出する。ヒストグラムの生成及び分散の算出は、観測低解像度画像ごとに行われる。尚、ヒストグラムを形成する輝度信号は、観測低解像度画像の全体領域から抽出されてもよいし、観測低解像度画像の一部領域から抽出されてもよい。
３枚の観測低解像度画像Ｌ1〜Ｌ3は連続して撮影された３つのフレーム画像であるため、基本的にそれらの構図は同じである。同じ構図の画像であれば、露光期間中に生じた手ぶれが大きいほど隣接画素間の輝度が平滑化され、中間階調の画素の割合が増加して輝度値のヒストグラムにおける分布が中間階調に集中化する。上記の平滑化の程度が大きいほどヒストグラムにおける分散が小さくなってぼけ量評価値が小さくなるため、ぼけ量評価値が大きいほど、それに対応する観測低解像度画像のぼけ量は小さいと推定できる。従って、図４の基準画像設定部５３は、ヒストグラムの分散に基づく、観測低解像度画像Ｌ1〜Ｌ3のぼけ量評価値の内、最も大きなぼけ量評価値に対応する観測低解像度画像を基準画像として設定し、残りの２枚の観測低解像度画像を参照画像として設定する。
観測低解像度画像の例として、図１５（ａ）に画像２６１を示すと共に図１５（ｂ）に画像２６２を示す。画像２６１は鮮明な画像である一方、画像２６２の露光期間中に大きな手ぶれが生じたことにより画像２６２には大きなぼけが含まれている。また、図１６（ａ）及び（ｂ）に、夫々、画像２６１及び２６２に対して生成されたヒストグラムを示す。画像２６１のヒストグラムとの対比おいて（図１６（ａ）参照）、画像２６２のヒストグラム（図１６（ｂ）参照）では中間階調への分布の集中化が見られる。この集中化によって、分散は小さくなる。
この他、画像のぼけ量を推定する任意の方法を用いることが可能である。例えば、特開平１１−２７５７４号公報に記載の方法を用いて、観測低解像度画像のぼけ量を推定するようにしてもよい。この場合、着目した観測低解像度画像をフーリエ変換することによって２次元周波数領域上の変換画像を生成し、周波数座標の原点を中心とした円に変換画像を投影する。そして、その投影データから、着目した観測低解像度画像のぼけ量を推定する。尚、特開平１１−２７５７４号公報における「手ぶれの大きさ」が、ぼけ量に相当する。
＜＜第４実施例＞＞
次に、第４実施例を説明する。図１７は、第４実施例に係る超解像部５０ａの内部ブロック図である。超解像部５０ａに設けられる符号５１、５４〜５７及び６１〜６４によって参照される各部位は、図４のそれらと同じものである。超解像部５０ａに設けられる基準画像設定部５３ａの機能は、図１のＣＰＵ２３又は映像信号処理部１３にて実現される。基準画像の設定方法が異なる点を除き、超解像部５０ａと第１実施例に係る超解像部５０（図４）は同様である。故に、以下では、第４実施例に係る基準画像の設定方法を説明する。第４実施例では、第１実施例と同様、３枚の観測低解像度画像Ｌ1〜Ｌ3から１枚の高解像度画像を生成することを想定する。
第４実施例において、撮像装置１には、図１８のセンサ部７５が設けられている。基準画像設定部５３ａは、センサ部７５から出力されるセンサ検出データに基づき、観測低解像度画像Ｌ1〜Ｌ3の中から基準画像を設定する。センサ部７５は、手ぶれ等に由来する撮像装置１のぶれ（撮像装置１の筐体のぶれ）を検出する。具体的には、センサ部７５は、撮像装置１のヨー方向（水平方向）の角速度を検出して、その検出結果を表す信号を出力する角速度センサ７５Ａと、撮像装置１のピッチ方向（垂直方向）の角速度を検出して、その検出結果を表す信号を出力する角速度センサ７５Ｂとを備え、角速度センサ７５Ａ及び７５Ｂの出力信号がセンサ検出データとして出力される。
センサ検出データによって、撮像装置１のぶれ（撮像装置１の筐体のぶれ）の大きさ及び方向が示される。基準画像設定部５３ａは、観測低解像度画像Ｌ1〜Ｌ3の夫々の露光期間中におけるセンサ検出データに基づいて基準画像を設定する。具体的には、画像Ｌ1〜Ｌ3の夫々の露光期間中におけるセンサ検出データから、画像Ｌ1の露光期間中における撮像装置１のぶれの大きさＱ1、画像Ｌ2の露光期間中における撮像装置１のぶれの大きさＱ2及び画像Ｌ3の露光期間中における撮像装置１のぶれの大きさＱ3を求め、大きさＱ1〜Ｑ3の内の最小の大きさに対応する観測低解像度画像を基準画像に設定すると共に残りの２枚の観測低解像度画像を参照画像に設定する。例えば、図１９に示す如く、不等式「Ｑ1＞Ｑ3＞Ｑ2」が成立する場合は、画像Ｌ2が基準画像に設定されると共に画像Ｌ1及びＬ3が参照画像に設定される。
大きさＱ1は、例えば、実空間上で静止した点光源からの光による点像が、画像Ｌ1の露光期間中における撮像装置１のぶれによって、画像Ｌ1上で描く軌跡の長さ（又は該軌跡の始点と終点との間の距離）を表す。大きさＱ2及びＱ3についても同様である。
尚、超解像部５０ａに、ぼけ量推定部（不図示）が内在していると考えることも可能である。この場合、超解像部５０ａにおけるぼけ量推定部は、画像Ｌ1〜Ｌ3の夫々の露光期間中におけるセンサ検出データから撮像装置１のぶれの大きさＱ1〜Ｑ3を求めて、撮像装置１のぶれの大きさが大きいほど、対応する観測低解像度画像のぼけ量は大きいと推定し、その推定結果を基準画像設定部５３ａに与える。基準画像設定部５３ａは、この推定結果に基づいて基準画像を設定することができる。従って例えば、不等式「Ｑ1＞Ｑ3＞Ｑ2」が成立する場合は、画像Ｌ1〜Ｌ3のぼけ量の内、画像Ｌ1のぼけ量が最も大きく且つ画像Ｌ2のぼけ量が最も小さいと推定され、その推定結果が基準画像設定部５３ａに与えられることによって画像Ｌ2が基準画像に設定されると共に画像Ｌ1及びＬ3が参照画像に設定される。
また、センサ部７５を角速度センサにて構成する例を上述したが、撮像装置１のぶれを表す、角速度以外の物理量を検出するセンサにて、センサ部７５を構成しても良い。例えば、撮像装置１の加速度を検出する加速度センサ又は撮像装置１の角加速度を検出する角加速度センサにてセンサ部７５を形成するようにしてもよい。
ところで、画像Ｌ1が撮影された場合、画像Ｌ1の輝度及び色を表す画像データと共に画像Ｌ1の露光期間中におけるセンサ検出データが取得され、それらのデータは互いに関連付けられて必要に応じて外部メモリ１８（図１参照）に記録される。画像Ｌ1に関するそれらのデータが外部メモリ１８に記録される場合、例えば、本体領域とヘッダ領域から成る１つの画像ファイルが外部メモリ１８内に設けられ、該画像ファイルの本体領域に画像データが格納される共にヘッダ領域にセンサ検出データが格納される。画像Ｌ1のセンサ検出データは、画像Ｌ1の画像データに付随する、画像Ｌ1の撮影条件を表す情報であると考えることができる。画像Ｌ1以外の画像（Ｌ2など）についても同様である。
本明細書では、図２０に示す如く、画像データ及びセンサ検出データを含む情報を画像情報と呼ぶ。画像Ｌ1の画像情報は、画像Ｌ1の撮影条件をも含めた、画像Ｌ1の特徴を表している（画像Ｌ2等についても同様）。
＜＜第５実施例＞＞
次に、第５実施例を説明する。撮影者が注目する主要被写体の、画像上における大きさが大きいほど、画像上で主要被写体をより詳細に表現することができる。従って、主要被写体がより大きく現れている画像を、撮影者を含むユーザに提供することが望ましい。一方、超解像処理によって得られる高解像度画像は、基準画像としての観測低解像度画像を基準にして生成されるため、基準画像上における主要被写体の大きさが比較的大きければ高解像度画像上におけるそれも比較的大きくなる。これを考慮し、第５実施例では、主要被写体がより大きく現れている観測低解像度画像を基準画像として設定する。
図２１は、第５実施例に係る超解像部５０ｂの内部ブロック図である。超解像部５０ｂに設けられる符号５１、５４〜５７及び６１〜６４によって参照される各部位は、図４のそれらと同じものである。超解像部５０ｂに設けられる基準画像設定部５３ｂ及び被写体サイズ検出部７６の機能は、図１のＣＰＵ２３又は映像信号処理部１３にて実現される。基準画像の設定方法が異なる点を除き、超解像部５０ｂと第１実施例に係る超解像部５０（図４）は同様である。故に、以下では、基準画像の設定に関わる基準画像設定部５３ｂ及び被写体サイズ検出部７６の機能について説明する。第５実施例では、第１実施例と同様、３枚の観測低解像度画像Ｌ1〜Ｌ3から１枚の高解像度画像を生成することを想定する。
被写体サイズ検出部７６は、観測低解像度画像ごとに、観測低解像度画像の画像データに基づいて観測低解像度画像上における主要被写体の大きさを検出する。基準画像設定部５３ｂは、観測低解像度画像Ｌ1〜Ｌ3の内、主要被写体の大きさが最も大きくなる観測低解像度画像を基準画像に設定すると共に他の２枚の観測低解像度画像を参照画像に設定する。
具体例を挙げて、被写体サイズ検出部７６の検出方法を説明する。まず、第１の検出方法として、被写体サイズ検出部７６が顔検出処理を実行可能に形成されている場合を説明する。顔検出処理は、観測低解像度画像の画像データに基づいて、人物の顔の画像データが存在している画像領域を顔領域として観測低解像度画像の全体画像領域から抽出する処理である。第１の検出方法において、被写体サイズ検出部７６は、画像Ｌ1〜Ｌ3の夫々に対して顔検出処理を実行することにより画像Ｌ1〜Ｌ3の夫々から顔領域を抽出する。顔領域の大きさは、その顔領域内に存在する顔の大きさが増大するにつれて増大する。
第１の検出方法において、被写体サイズ検出部７６は、顔領域の大きさを表す情報を含む顔検出結果を基準画像設定部５３ｂに送り、基準画像設定部５３ｂは、その顔検出結果に基づき、最も大きな顔領域が抽出された観測低解像度画像を基準画像に設定する。例えば、画像Ｌ1〜Ｌ3として図２２の画像３０１〜３０３が取得されると共に画像３０１〜３０３から顔領域３１１〜３１３が抽出され、画像上における顔領域３１２の大きさが顔領域３１１及び３１３の大きさよりも大きい場合、画像３０２及び顔領域３１２に対応する画像Ｌ2が基準画像に設定される。上述の例では、人物の顔又は人物そのものが主要被写体であると考えられる。
ところで、画像３０１〜３０３のような顔領域の大きさが不揃いの画像列が取得される原因の一つとして、画像３０１〜３０３の撮影期間中に撮像装置１が撮影方向に沿って動く（即ち前後に動く）ことが考えられる。このような場合は、画像３０１〜３０３間で顔領域の大きさが一致するように画像３０１及び３０３の全体に対して線形変換（所謂電子ズーム）を施し、線形変換後の画像３０１及び３０３を参照画像として用いて超解像処理を行うようにすると良い。
但し、画像３０１〜３０３の撮影期間中に撮像装置１ではなく顔領域３１１〜３１３に対応する人物が撮影方向に沿って動くことも考えられる。このような場合においても、上記線形変換後の画像３０１及び３０３を参照画像として用いて超解像処理を行えばよいが、人物が動いた場合は、基準画像としての画像３０２と線形変換後の画像３０１及び３０３との間で、顔領域の大きさは一致するものの背景領域の大きさが一致しなくなる。背景領域の大きさが不揃いの画像列を用いて超解像処理を行うと、背景領域において二重像が生じうる。
一方において、このような不一致が発生すると位置ずれ検出部５４による位置ずれ量算出の信頼度が低下するため、該信頼度を位置ずれ量と共に算出するようにしておけば上記不一致の発生を検出可能である。例えば、公知の如く、位置ずれ量算出時に生成されるデータ（例えば、ブロックマッチング法にて位置ずれ量を求める際に導出されるＳＳＤ（Sum of squared difference）の値）から上記信頼度を求めることが可能である。
従って、上記不一致が検出された場合は、人物が動いたと判断して、線形変換後の画像３０１及び３０３内の画像領域であって且つ顔領域（又は人物の画像データが存在する画像領域）以外の画像領域を超解像処理に用いないようにすればよい。例えば、画像３０２の全体画像領域と線形変換後の画像３０１及び３０３の顔領域３１１及び３１３のみを用いて高解像度画像を生成するようにする。そのようにすると、高解像度画像内の顔領域は３枚の低解像度画像の顔領域から生成される一方で、高解像度画像内の顔領域以外の部分は画像３０２のみから生成されることになるが、主要被写体としての顔の高解像度化が図られるため十分に有益である。尚、高解像度画像の生成に必要となる、画像３０２の顔領域３１１と線形変換後の画像３０１及び３０３の顔領域３１１及び３１３との間における位置ずれ量は、顔検出処理の実行時に求められる各顔領域の位置から決定することができる。このような、線形変換後の観測低解像度画像内の一部画像領域を超解像処理に用いないという方法は、後述の第２の検出方法に対しても適用可能である。
被写体サイズ検出部７６による第２の検出方法を説明する。第２の検出方法において、被写体サイズ検出部７６は、各観測低解像度画像に対して主要被写体領域を設定する。主要被写体領域とは、観測低解像度画像の一部画像領域であって且つ主要被写体の画像データが存在していると推測される画像領域である。例えば、一般的に主要被写体が画像の中央付近に存在している可能性が高いとことに鑑み、観測低解像度画像の中央付近に位置する、予め設定された画像領域を主要被写体領域として用いることができる。或いは、後述の第７実施例にて述べられるＡＦ評価領域を主要被写体領域として用いるようにしてもよい。更に或いは、ピントの合っている被写体の画像データが存在する画像領域を主要被写体領域として用いるようにしてもよい。ピントの合っている被写体の画像データが存在する画像領域の位置を、観測低解像度画像の高域周波数成分から決定することが可能である。
今、画像Ｌ1〜Ｌ3として図２３の画像３２１〜３２３が取得されると共に画像３２１〜３２３に対して主要被写体領域３３１〜３３３が設定された場合を考える。被写体サイズ検出部７６は、主要被写体領域３３１〜３３３の中央付近に、夫々、基準領域３４１〜３４３を設定する。主要被写体領域の位置及び大きさ並びに基準領域の位置及び大きさは、画像３２１〜３２３間で同じである。
被写体サイズ検出部７６は、画像３２１〜３２３の画像データに基づいて、画像３２１の基準領域３４１内の色、画像３２２の基準領域３４２内の色及び画像３２３の基準領域３４３内の色を、夫々、第１〜第３の基準色として求める。基準領域３４１内の色は、例えば、基準領域３４１内に属する各画素の平均色である（基準領域３４２内の色及び基準領域３４３内の色についても同様）。画像データがＲＧＢ形式の信号で表されている場合は、基準領域３４１内に属する各画素の色信号であるＲ、Ｇ及びＢ信号から第１の基準色を求めればよく、画像データがＹＵＶ形式の信号で表されている場合は、基準領域３４１内に属する各画素の色差信号であるＵ及Ｖ信号から第１の基準色を求めればよい（第２及び第３の基準色についても同様）。或る画素に関し、Ｒ、Ｇ及びＢ信号は、その画素の赤、緑及び青の強度を表す。尚、第１〜第３の基準色を全て同じ色に設定してもよい。この場合、第１〜第３の基準色を、基準領域３４１、３４２又は３４３内の色に設定することができる。
被写体サイズ検出部７６は、観測低解像度画像ごとに、基準色と同一又は類似する画素が主要被写体領域内に幾つ存在しているかを計数することによって、観測低解像度画像上の主要被写体の大きさを検出する。
具体的には、観測低解像度画像ごとに以下の処理を行う。基準色の、ＲＧＢ色空間上における位置を基準位置として設定する一方で、主要被写体領域内に属する各画素の色の、ＲＧＢ色空間上における位置を検出し、前者の位置（基準位置）と後者の位置とのユークリッド距離を求める。そして、主要被写体領域内の画素の内、ユークリッド距離が所定の閾値ＤTH以下となる画素の個数を、主要被写体の大きさとして検出する。図２３に示す例の場合、画像Ｌ2に対して計数される上記個数は、画像Ｌ1及びＬ3に対するそれらよりも大きくなり、結果、画像Ｌ2が基準画像に設定される。
第５実施例によれば、主要被写体が大きく表れた、ユーザにとって好ましい高解像度画像を生成することが可能となる。
＜＜第６実施例＞＞
次に、第６実施例を説明する。ユーザにとって好ましくない、目のつぶっている画像や表情の良くない画像を基準画像として選択すると、高解像度画像も好ましい画像とならない。そこで、第６実施例では、顔の状態を考慮して基準画像の設定を行う。
図２４は、第６実施例に係る超解像部５０ｃの内部ブロック図である。超解像部５０ｃに設けられる符号５１、５４〜５７及び６１〜６４によって参照される各部位は、図４のそれらと同じものである。超解像部５０ｃに設けられる基準画像設定部５３ｃ及び顔状態検出部７７の機能は、図１のＣＰＵ２３又は映像信号処理部１３にて実現される。基準画像の設定方法が異なる点を除き、超解像部５０ｃと第１実施例に係る超解像部５０（図４）は同様である。故に、以下では、基準画像の設定に関わる基準画像設定部５３ｃ及び顔状態検出部７７の機能について説明する。第６実施例では、第１実施例と同様、３枚の観測低解像度画像Ｌ1〜Ｌ3から１枚の高解像度画像を生成することを想定する。
顔状態検出部７７は、第５実施例で述べた顔検出処理を各観測低解像度画像に対して実行して、観測低解像度画像上における人物の顔領域を抽出する。その後、顔状態検出部７７は、観測低解像度画像の画像データに基づき、顔領域内から眼が存在する眼領域を抽出し、更に眼の開閉状態を検出する瞬き検出処理を実行する。瞬き検出処理に、公知の方法を含む任意の方法を利用可能である。例えば、標準的な瞳孔を表す画像をテンプレートとして用いたテンプレートマッチングを行うことで眼領域内における瞳孔の有無を検出し、その有無検出結果から眼が開いているか否かを検出することができる。
基準画像設定部５３ｃは、観測低解像度画像Ｌ1〜Ｌ3の内、瞬き検出処理によって眼が開いていると判断された観測低解像度画像を基準画像に設定する。例えば、画像Ｌ2及びＬ3上の眼が開いており且つ画像Ｌ1上の眼が閉じていると判断された場合、画像Ｌ2又はＬ3を基準画像に設定すると共に残りの２枚（画像Ｌ1及びＬ2、又は、画像Ｌ1及びＬ3）を参照画像に設定する。
尚、画像Ｌ2及びＬ3上の眼が開いており且つ画像Ｌ1上の眼が閉じていると判断された場合、高解像度画像上に二重像が現れることを防止すべく、画像Ｌ1の眼領域（又は顔領域全体）を超解像処理に用いないようにするとよい。この場合、高解像度画像の眼領域（又は顔領域全体）以外の部分は画像Ｌ1〜Ｌ3から生成される一方で、高解像度画像の眼領域（又は顔領域全体）は画像Ｌ2及びＬ3のみから生成されることになる。
観測低解像度画像上における顔領域を抽出した後、顔状態検出部７７に、瞬き検出処理ではなく笑顔検出処理を行わせるようにしてもよい。笑顔検出処理は、観測低解像度画像ごとに実行される。笑顔検出処理では、観測低解像度画像の画像データに基づき、顔領域内における顔が笑顔であるか否かが判断される。笑顔検出処理に、公知の方法を含む任意の方法を利用可能である。
笑顔検出処理が実行された場合、基準画像設定部５３ｃは、観測低解像度画像Ｌ1〜Ｌ3の内、笑顔検出処理によって顔領域内の顔が笑顔であると判断された観測低解像度画像を基準画像に設定する。例えば、画像Ｌ2及びＬ3上の顔が笑顔であって且つ画像Ｌ1上の顔が笑顔でないと判断された場合、画像Ｌ2又はＬ3を基準画像に設定すると共に残りの２枚（画像Ｌ1及びＬ2、又は、画像Ｌ1及びＬ3）を参照画像に設定する。
尚、画像Ｌ2及びＬ3上の顔が笑顔であって且つ画像Ｌ1上の顔が笑顔でないと判断された場合、高解像度画像上に二重像が現れることを防止すべく、画像Ｌ1の顔領域全体を超解像処理に用いないようにするとよい。この場合、高解像度画像の顔領域以外の部分は画像Ｌ1〜Ｌ3から生成される一方で、高解像度画像の顔領域は画像Ｌ2及びＬ3のみから生成されることになる。
また、上述の瞬き検出処理と笑顔検出処理の双方を用いて基準画像を設定することも可能である。この場合、瞬き検出処理によって眼が開いていると判断され且つ笑顔検出処理によって顔領域内の顔が笑顔であると判断された観測低解像度画像を基準画像に設定すればよい。
第６実施例によれば、顔の状態の良い、ユーザにとって好ましい高解像度画像を生成することが可能となる。
＜＜第７実施例＞＞
次に、第７実施例を説明する。第７実施例では、オートフォーカス制御に用いられるＡＦ評価値に基づいて基準画像を設定する。
まず、図２５を参照して、図１の撮像部１１の内部構成を詳細に説明する。図２５は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点位置を制御する。また、ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。撮像素子３３を駆動するための駆動パルスがＴＧ２２から与えられる。
撮像装置１では、ＴＴＬ（Through The Lens）方式によるオートフォーカス制御が行われる。このオートフォーカス制御を行うために、図１の映像信号処理部１３にはＡＦ評価部（焦点評価値導出手段）が設けられる。図２６は、映像信号処理部１３に設けられたＡＦ評価部８０の内部ブロック図である。
ＡＦ評価部８０は、抽出部８１、ＨＰＦ（ハイパスフィルタ）８２及び積算部８３を有して構成される。ＡＦ評価部８０は、１つのフレーム画像について１つのＡＦ評価値（焦点評価値）を算出する。
抽出部８１には、フレーム画像の映像信号が与えられる。抽出部８１は、その映像信号の中から、フレーム画像内に定義されたＡＦ評価領域（焦点評価領域）内の輝度信号を抽出する。ＡＦ評価領域は、互いに分離した複数の要素領域から形成される。図２７（ａ）にＡＦ評価領域の設定例を示す。例えば、フレーム画像を垂直方向及び水平方向に夫々３等分することでフレーム画像内に９つの分割領域を定義する。そして、図２７（ａ）に示す如く、その９つの分割領域の内、フレーム画像の中央に位置する分割領域の全体又は一部を要素領域ＡＲ１とし、要素領域ＡＲ１の上下左右に位置する分割領域の全体又は一部を要素領域ＡＲ２〜ＡＲ５とする。この場合、要素領域ＡＲ１〜ＡＲ５の合計領域がＡＦ評価領域に相当する。尚、１つの要素領域にてＡＦ評価領域を形成することも可能である。例えば、要素領域ＡＲ１そのものをＡＦ評価領域としても構わない。以下の説明では、ＡＦ評価領域が要素領域ＡＲ１〜ＡＲ５から形成されていることを想定する。
ＨＰＦ８２は、抽出部８１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。例えば、ＨＰＦ８２を図７に示すような３×３のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをＡＦ評価領域内の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ８２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。
積算部８３は、ＨＰＦ８２によって抽出された高域周波数成分の大きさ（即ち、ＨＰＦ８２の出力値の絶対値）を積算する。この積算は、要素領域ごとに個別に行われる。従って、要素領域ＡＲ１〜ＡＲ５についての各積算値が算出される。積算部８３は、事前に定められた重み付け係数に従って各積算値を重み付け加算することによりＡＦ評価値を算出する。要素領域ＡＲ１に対する重み付け係数が、他の要素領域に対するそれよりも高いことを想定する。例えば、図２７（ｂ）に示す如く、要素領域ＡＲ１に対する重み付け係数が２．０であって且つ他の要素領域ＡＲ２〜ＡＲ５に対する重み付け係数が１．０である場合を考える。そうすると、要素領域ＡＲ１に対して算出された積算値に２を乗じた値と、要素領域ＡＲ２〜ＡＲ５に対して算出された積算値との総和がＡＦ評価値として算出される。
順次得られるフレーム画像に対して算出された各ＡＦ評価値は、図１のＣＰＵ２３に逐次伝達される。或るフレーム画像についてのＡＦ評価値は、そのフレーム画像のＡＦ評価領域内の高域周波数成分の量に概ね比例し、その量が増大するにつれて増大する。高域周波数成分の量は、高域周波数成分の強度とも換言される。
オートフォーカス制御の実行時には、フォーカスレンズ３１を少しずつ動かしながら順次ＡＦ評価値が求められ、ＡＦ評価値が最大（或いは極大）となるフォーカスレンズ３１の位置を合焦レンズ位置として求める。そして、例えば、フォーカスレンズ３１を合焦レンズ位置に配置した状態で連続して撮影された３枚のフレーム画像を、上述の観測低解像度画像Ｌ1〜Ｌ3として取り扱う。
この観測低解像度画像Ｌ1〜Ｌ3もＡＦ評価部８０に与えられ、観測低解像度画像Ｌ1〜Ｌ3の夫々に対するＡＦ評価値も上述のようにして求められる。そして、第７実施例では、観測低解像度画像Ｌ1〜Ｌ3のＡＦ評価値の内、最大のＡＦ評価値に対応する観測低解像度画像を基準画像として設定するようにする。
図２８は、第７実施例に係る超解像処理を担う超解像部５０ｄの内部ブロック図である。超解像部５０ｄは、符号５１、８０、５３ｄ及び５４〜５７にて参照される各部位と、フレームメモリ６１〜６４とを備えて構成される。即ち、図４の超解像部５０におけるぼけ量推定部５２及び基準画像設定部５３をＡＦ評価部８０及び基準画像設定部５３ｄに置換することによって超解像部５０ｄは形成される。超解像部５０ｄ内の、ＡＦ評価部８０及び基準画像設定部５３ｄ以外の部位の動作は、図４の超解像部５０のそれと同じであるため、共通部位に対する重複する説明を割愛する。基準画像設定部５３ｄはＣＰＵ２３によって実現される。但し、基準画像設定部５３ｄの機能を映像信号処理部１３に担わせるようにしても構わない。
ＡＦ評価値８０は、観測低解像度画像Ｌ1〜Ｌ3についてのＡＦ評価値を基準画像設定部５３ｄに送る。基準画像設定部５３ｄは、画像Ｌ1〜Ｌ3についてのＡＦ評価値に基づいて基準画像及び参照画像を設定する処理を行う。具体的には、画像Ｌ1〜Ｌ3に対して求められた３つのＡＦ評価値の内の最大のＡＦ評価値を特定し、その最大のＡＦ評価値に対応する観測低解像度画像を基準画像として設定する一方で残りの２枚の観測低解像度画像を参照画像として設定する。基準画像及び参照画像が設定された後の動作は、第１実施例と同じである。
今、撮像装置１の視野内に動被写体が含まれている場合を考える。動被写体とは、実空間上で移動する被写体を意味する。そして、図２９のフレーム画像３６１、３６２及び３６３が取得され、フレーム画像３６１、３６２及び３６３がそれぞれ観測低解像度画像Ｌ1、Ｌ2及びＬ3であった場合を想定する。フレーム画像３６１〜３６３には動被写体としての動物が含まれており、その動物が撮像装置１に対して相対的に移動することにより、その動物はフレーム画像３６１内では右側よりに描画され、フレーム画像３６２内では略中央に描画され、フレーム画像３６３内では左側よりに描画されている。また、フレーム画像３６１〜３６３の撮影時において、その動物にピントが合うようにフォーカスレンズ３１のレンズ位置が固定されているものとする。
この場合、ＡＦ評価値の算出方法から理解されるように、画像Ｌ1、Ｌ2及びＬ3に対するＡＦ評価値の内、画像Ｌ2に対するＡＦ評価値が最大となる可能性が高い。そして実際に画像Ｌ2に対するＡＦ評価値が最大となっていると、画像Ｌ2が基準画像として設定されて超解像処理がなされるので、画像Ｌ2と同様、得られる高解像度画像内において着目した動物は略中央に位置することとなる。
本実施例によれば、撮影者が着目した動被写体（即ち、ピントの合っている動被写体）が中央に配置された高解像度画像が得られることとなる。つまり、撮影者の意図に合致した、望ましい構図の高解像度画像を自動的に得ることが可能となる。
尚、本実施形態における超解像処理では、線形補間等を用いて基準画像から初期高解像度画像が生成される。そして、基準画像を基準とする基準画像と各参照画像との位置ずれ量に従って高解像度画像（最初は、初期高解像度画像）から推定低解像度画像が生成され、その推定低解像度画像と観測低解像度画像との誤差が最小化されるように高解像度画像が更新される。このため、最終的に得られる高解像度画像は、基準画像の解像度を向上させた画像と言える（参照画像は、その解像度の向上のために参照される画像である）。故に、図２９のフレーム画像３６２が基準画像として設定されると、得られる高解像度画像内において、着目した動物は略中央に位置することとなる。
＜＜第８実施例＞＞
次に、第８実施例を説明する。第８実施例では、複数の観測低解像度画像から高解像度画像を得るための要素技術を詳細に説明する。第８実施例に記載した事項を、上述の第１〜第７実施例に適用することができる。
第８実施例では、説明の簡略化上、３×３の画像サイズを有する２枚の観測低解像度画像から６×６の画像サイズを有する１枚の高解像度画像を生成する場合を例にとる。２枚の観測低解像度画像の内、一方を第１の観測低解像度画像と呼び、他方を第２の観測低解像度画像と呼ぶ。第１の観測低解像度画像が基準画像として、第２の観測低解像度画像が参照画像として設定されたものとする。尚、以下の説明において、第１及び第２の観測低解像度画像を、夫々、第１及び第２の観測画像と略記することがある。
図３０（ａ）及び（ｂ）に第１及び第２の観測画像の画素配列を表し、図３０（ｃ）に高解像度画像の画素配列を示す。図３０（ｃ）の画素配列は、初期高解像度画像Ｈ0を含む高解像度画像Ｈnの画素配列である（ｎは０以上の整数）。また、超解像演算処理の過程において高解像度画像から推定低解像度画像及び差分画像が生成されるが（図８参照）、第ｋの観測画像に対応する推定低解像度画像及び差分画像の画素配列も第ｋの観測画像のそれと同じである（第８実施例において、ｋは１又は２）。第ｋの観測画像に対応する推定低解像度画像及び差分画像を、以下、夫々、第ｋの推定低解像度画像及び差分画像と呼ぶ。
図３０（ａ）〜（ｃ）並びに後述の図３２、図３３（ａ）及び（ｂ）及び図３５において、黒く塗りつぶされた四角形は第１の観測画像又は第１の推定低解像度画像又は第１の差分画像の画素が配置される点を表し、黒く塗りつぶされた三角形は第２の観測画像又は第２の推定低解像度画像又は第２の差分画像の画素が配置される点を表し、黒く塗りつぶされた丸は高解像動画像の画素が配置される点を表している。
各画像において画素は行列状に配置されている。１枚の観測画像（又は推定低解像度画像又は差分画像）における合計９個の画素の位置を表す座標を、０≦ｉ≦２且つ０≦ｊ≦２の範囲内のｉ及びｊを用いて（ｉ，ｊ）で表す。但し、ｉ及びｊは整数である。高解像度画像における合計３６個の画素の位置を表す座標を、０≦ｉ≦５且つ０≦ｊ≦５の範囲内のｉ及びｊを用いて（ｉ，ｊ）で表す。ｉは行方向（換言すれば垂直方向）の座標値を表し、ｊは列方向（換言すれば水平方向）の座標値を表している。
更に、行列表現された第１及び第２の観測画像を夫々ｙ1及びｙ2で表す。また、第１実施例で述べたように、行列表現された高解像度画像Ｈnをｘnで表す。そして、第１の観測画像内の座標（ｉ，ｊ）における画素の画素値をｙ1（ｉ，ｊ）で表し、且つ、第２の観測画像内の座標（ｉ，ｊ）における画素の画素値をｙ2（ｉ，ｊ）で表し、且つ、高解像度画像Ｈn内の座標（ｉ，ｊ）における画素の画素値をｘn（ｉ，ｊ）で表す。そうすると、ｙ1、ｙ2及びｘnは、式（Ｂ−１）、（Ｂ−２）及び（Ｂ−３）によって表される。尚、上述したように、添え字Ｔが付された行列は元の行列の転置行列を表す。
［サブピクセル精度の位置ずれ量の算出方法］
まず、基準画像としての第１の観測画像を基準とした、第１及び第２の観測画像間の位置ずれ量の算出方法を説明する。第１実施例で述べたように、位置ずれ量は、代表点マッチング法やブロックマッチング法、勾配法などを用いて、サブピクセルの分解能を有するように算出される。例として、代表点マッチング法を用いる場合を説明する。
第１の観測画像に設定された代表点が座標（０，０）における画素であり、代表点マッチング法における検出ブロックサイズを１×１とした場合、位置（ｉ，ｊ）に対応する相関値Ｅ（ｉ，ｊ）は式（Ｂ−４）で表される。（ｉ，ｊ）＝（０，０）、（０，１）、・・・（２，２）の夫々に対して相関値Ｅ（ｉ，ｊ）を求め、得られた合計９個の相関値Ｅ（０，０）〜Ｅ（２，２）の内、最小の相関値を特定する。この最小の相関値をＥ（ｉO，ｊO）で表すとすると、ｉO及びｊOによって、第１及び第２の観測画像間の、整数精度における位置ずれ量が定まる。
位置ずれ量の小数点部分は、最小の相関値Ｅ（ｉO，ｊO）を与える画素の上下左右の画素に対する相関値及び相関値Ｅ（ｉO，ｊO）に基づき、例えば図３１に示すような放物線近似を利用して算出する。例えば、ｉO＝１且つｊO＝１である場合、位置ずれ量の小数点部分の行方向成分ｉSUB及び列方向成分ｊSUBは、下記式（Ｂ−５）及び（Ｂ−６）に従って求められる。但し、線形近似を用いる等、公知の任意の方法を用いて小数点部分の位置ずれ量を導出するようにしても構わない。
最終的に第１及び第２の観測画像間の位置ずれ量は、ｉO及びｊOとｉSUB及びｊSUBとによって表現されることとなる。つまり、その位置ずれ量の行方向成分及び列方向成分（換言すれば、垂直成分及び水平成分）は、夫々、（ｉO＋ｉSUB）及び（ｊO＋ｊSUB）で表される。
［初期高解像度画像の生成方法］
初期高解像度画像Ｈ0は、線形補間やバイキュービック補間を用い、基準画像としての第１の観測画像から生成する。例えば、ｙ1（０，０）＝ｘ0（０，０）とし、線形補間を用いて第１の観測画像を２倍の拡大率にて拡大することで初期高解像度画像Ｈ0を生成する場合、図３２の星型マークで表された、画像Ｈ0内の座標（１，３）における画素値ｘ0（１，３）は、下記式（Ｂ−７）に従って算出される。
［推定低解像度画像及び差分画像の生成方法］
図４等の超解像処理部５７にて実行される超解像演算処理では、高解像度画像に行列Ｗkを作用させることによって低解像度画像（上述の推定低解像度画像）を再構成する（図８参照）。行列Ｗkは、上述したように、位置ずれ検出部５４で算出した位置ずれ量、高解像度画像から低解像度画像への低解像度化によって生じる画像ぼけを表す点広がり関数（Point Spread Function）、及び、高解像度画像から低解像度画像へのダウンサンプリングを含めた画像変換行列である。この行列Ｗkに含められる点広がり関数として、例えば、下記式（Ｂ−８）で表されるガウス関数ＰＳＦk（ｉ，ｊ）が用いられる。
ここで、ｖk x及びｖk yは、高解像度画像に対する第ｋの観測画像の位置ずれ量の小数点部分を表し、ｖk x及びｖk yは、夫々、その位置ずれ量の行方向成分及び列方向成分の小数点部分である。但し、ｖk x及びｖk yは、高解像度画像上の値として表現される。即ち例えば、高解像度画像上における、０．５画素分の行方向成分の位置ずれをｖk x＝０．５で表す。
ｓx及びｓyは、高解像度画像から推定低解像度画像を生成する時に高解像度画像に作用させる空間フィルタの大きさ（フィルタ台の大きさ）を表す。ｓx及びｓyは、整数値をとる。今の例において、ｓx＝ｓy＝２とされる。ｖk x又はｖk yの値が小数部を含まないときは、その空間フィルタの行方向及び列方向のタップ数は夫々（２ｓx＋１）及び（２ｓy＋１）とされ、ｖk x又はｖk yの値が小数部を含むときは、その空間フィルタの行方向及び列方向のタップ数は夫々３ｓx及び３ｓyとされる。また、σ2は、ガウス関数における分散を表す。
例として、高解像度画像に対する第１及び第２の観測画像の位置ずれ量の整数部分がゼロであって且つｖ1 x＝０、ｖ1 y＝０、ｖ2 x＝０．５、ｖ2 y＝０．５である場合において、高解像度画像から第１及び第２の推定低解像度画像の座標（１，１）の画素を生成することを考える。
この場合、第１の推定低解像度画像に関しては、ｖ1 x＝０且つｖ1 y＝０であるため、高解像度画像に作用させる空間フィルタの行方向及び列方向におけるタップ数は共に５（＝２×２＋１）とされる。図３３（ａ）の正方形４１１は、第１の推定低解像度画像内における座標（１，１）の画素４１２を生成するために高解像度画像に作用させるべき空間フィルタのフィルタ台（フィルタのインパルス応答がゼロでない範囲）を示している。再構成によって画素４１２を生成するために、フィルタ台４１１内に位置する、高解像度画像の２５画素（即ち、座標（０，０）〜（４，４）の画素）の画素値が参照されることになる。図３３（ａ）の下側に、この２５画素に作用させる行列Ｗ1における点広がり関数（低解像度画像を基準とした点広がり関数）を示す。
また、第２の推定低解像度画像に関しては、ｖ2 x＝０．５且つｖ2 y＝０．５であるため、高解像度画像に作用させる空間フィルタの行方向及び列方向におけるタップ数は共に６（＝３×２）とされる。図３３（ｂ）の正方形４２１は、第２の推定低解像度画像内における座標（１，１）の画素４２２を生成するために高解像度画像に作用させるべき空間フィルタのフィルタ台を示している。再構成によって画素４２２を生成するために、フィルタ台４２１内に位置する、高解像度画像の３６画素（即ち、座標（０，０）〜（５，５）の画素）の画素値が参照されることになる。図３３（ｂ）の下側に、この３６画素に作用させる行列Ｗ2における点広がり関数（低解像度画像を基準とした点広がり関数）を示す。
Ｗkｘnは、高解像度画像Ｈnから再構成された第ｋの推定低解像度画像を行列表現したものであり、下記式（Ｂ−９）によって表される。図３４に、行列Ｗ1の例を示す。今の例の場合、行列Ｗ1は９×３６の行列となる。そして、第ｋの観測画像の各画素値から第ｋの推定低解像度画像の各画素値を差し引くことによって第ｋの差分画像が生成される（図８参照）。第ｋの差分画像を表す行列（ｙk−Ｗkｘn）は、下記式（Ｂ−１０）によって表される。
［差分画像に基づく高解像度画像の更新］
各低解像度画像に対する差分画像が得られた後、各差分画像を高解像度画像の座標面上にフィードバックすることで高解像度画像を更新する。
例えば、図３５に示す如く、高解像度画像上の座標（２，３）の画素４３２にフィードバックされる、第１の差分画像内の画素は四角枠４３１内の６画素（黒四角の画素）であり、画素４３２にフィードバックされる、第２の差分画像内の画素は四角枠４３１内の９画素（黒三角の画素）である。但し、上述したように、高解像度画像に対する第１及び第２の観測画像の位置ずれ量の整数部分がゼロであって且つｖ1 x＝０、ｖ1 y＝０、ｖ2 x＝０．５、ｖ2 y＝０．５であるものとする。
画素４３２に対応するフィードバック値error（２，３）は、下記式（Ｂ−１１）にて表されることとなる。ここで、ＰＳＦ1（０，１）等の値は上記式（Ｂ−８）に従う。図３６（ａ）及び（ｂ）に、error（２，３）を算出する時に使用される転置行列Ｗ1 T及びＷ2 Tにおける点広がり関数（高解像度画像を基準とした点広がり関数）を示す。
フィードバック値は高解像度画像を形成する各画素に対して求められる。求められた全フィードバック値を表す行列errorは、下記式（Ｂ−１２）に示す如く、第ｋの差分画像を表す行列（ｙk−Ｗkｘn）とＷkの転置行列との積和演算によって求められる。尚、図３７に、図３４の行列Ｗ1の転置行列を示す。行列errorが求められた後、式（Ｂ−１３）に従って行列ｘnを更新して行列ｘn+1を生成する。即ち、高解像度画像Ｈnを更新して高解像度画像Ｈn+1を生成する。式（Ｂ−１３）は、第１実施例で述べた式（Ａ−１）と等価である。
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
２枚、３枚又は４枚の低解像度画像から１枚の高解像度画像を生成する例を上述したが、高解像度画像を生成するための低解像度画像の枚数は２以上であれば何枚でも良い。
［注釈２］
上述の実施形態では、超解像処理として再構成型方式の一種であるＭＡＰ方式を用いた超解像処理を例示したが、本発明にて利用可能な超解像処理はどのような方式の超解像処理であっても構わない。上述の実施形態では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む超解像演算処理を繰り返し実行しているが、この超解像演算処理の繰り返しは必須ではなく、１回だけ超解像演算処理を行って得た高解像度画像Ｈ1を最終的に求めるべき高解像度画像として取り扱うことも可能である。
［注釈３］
上述の各実施例において、基準画像の選択に用いる様々な指標を個別に説明した。例えば、この指標として、第１〜第３実施例では低解像度画像のぼけ量を用い、第４実施例ではセンサ検出データを用い、第５実施例では画像上における主要被写体の大きさを用い、第６実施例では顔領域内の顔の状態（眼の開閉状態や顔の表情）を用いている。
これらの様々な指標の内、任意の２以上の指標を組み合わせて用いて基準画像の選択を行うことも可能である。例えば、ぼけ量と顔領域内の顔の状態とに基づいて基準画像の選択を行うようにしても良い。より具体的には例えば、瞬き検出処理により眼が開いていると判断された観測低解像度画像が複数ある場合、眼が開いていると判断された複数の観測低解像度画像の内、ぼけ量が最も少ない観測低解像度画像を基準画像に設定するようにしてもよい。ぼけ量と顔領域内の顔の状態とに基づいて基準画像の選択を行う方法は、当然、ぼけ量に基づいて基準画像の選択を行う方法でもあるし、顔領域内の顔の状態に基づいて基準画像の選択を行う方法でもある。
［注釈４］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４、図１７、図２１、図２４又は図２８の超解像部５０、５０ａ、５０ｂ、５０ｃ又は５０ｄ内で実行される演算処理の一部又は全部を、ソフトウェアを用いて実現することも可能である。勿論、超解像部５０、５０ａ、５０ｂ、５０ｃ又は５０ｄをハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
［注釈５］
超解像部５０、５０ａ、５０ｂ、５０ｃ又は５０ｄの機能を撮像装置１と異なる外部機器（例えば、パーソナルコンピュータ；不図示）にて実現することも可能である。この場合、その外部機器内に超解像部５０、５０ａ、５０ｂ、５０ｃ又は５０ｄと同等の超解像部を設けるようにし、撮像装置１にて複数の低解像度画像を取得した後、その複数の低解像度画像の画像情報を無線又は有線にて或いは記録媒体を介して上記外部機器に供給すればよい。
［注釈６］
例えば、以下のように考えることができる。超解像部５０、５０ａ、５０ｂ、５０ｃ又は５０ｄを、画像処理装置と呼ぶこともできる。超解像処理部５７は、高解像度画像生成手段として機能する。この高解像度画像生成手段に、生成部５５が含まれていると考えることもできる。
本発明の実施形態に係る撮像装置の全体ブロック図である。 ＭＡＰ方式を用いた超解像処理の概念図である。 本発明の実施形態に係る超解像処理の流れを表すフローチャートである。 本発明の第１実施例に係る超解像処理を担う超解像部の内部ブロック図である。 図４の各部位の動作の流れを時系列的に示した図である。 本発明の第１実施例に係るぼけ量推定部の内部ブロック図である。 図６のハイパスフィルタ（ＨＰＦ）の例としてのラプラシアンフィルタを表す図である。 図４の超解像処理部の内部ブロック図である。 本発明の第１実施例に係る実験内容を説明する図であって、実験で用いたぼけ量の大きい画像（ａ）とぼけ量の小さい画像（ｂ）を示す図である。 図９（ａ）及び（ｂ）の各画像の高域抽出画像を示す図である。 本発明の第１実施例の実験に係り、超解像演算処理の反復回数と、実験によって得た高解像度画像と理想的な高解像度画像とのＰＳＮＲと、の関係を示す図である。 本発明の第１実施例に係り、画像データの読み書きタイミングについて特に着目した、超解像処理の動作の流れを表すフローチャートである。 本発明の第２実施例に係り、位置ずれ量の大きさの変化の様子を示す図である。 本発明の第２実施例に係り、位置ずれ量の大きさの変化の様子を示す図である。 本発明の第３実施例に係るぶれ量推定方法を説明するための図であって、ぼけの小さい画像（ａ）とぼけの大きい画像（ｂ）を示す図である。 図１５（ａ）及び（ｂ）に示された各画像の輝度ヒストグラムを示す図である。 本発明の第４実施例に係る超解像処理を担う超解像部の内部ブロック図である。 本発明の第４実施例に係る撮像装置に設けられたセンサ部の内部ブロック図である。 図１８のセンサ部によって検出された、撮像装置のぶれの大きさを表す図である。 画像情報が画像データとセンサ検出データを含むことを明示した図である。 本発明の第５実施例に係る超解像処理を担う超解像部の内部ブロック図である。 本発明の第５実施例に係る３枚の観測低解像度画像の第１例を示す図である。 本発明の第５実施例に係る３枚の観測低解像度画像の第２例を示す図である。 本発明の第６実施例に係る超解像処理を担う超解像部の内部ブロック図である。 図１の撮像部の内部構成図である。 図１の映像信号処理部内に設けられるＡＦ評価部の内部ブロック図である。 図２６のＡＦ評価部によってフレーム画像内に定義されるＡＦ評価領域と、ＡＦ評価値算出の際に設定される重み付け係数を表す図である。 本発明の第７実施例に係る超解像処理を担う超解像部の内部ブロック図である。 本発明の第７実施例に係る３枚の観測低解像度画像の例を示す図である。 本発明の第８実施例に係り、第１及び第２の観測低解像度画像の画素配列と高解像度画像の画素配列を示す図である。 本発明の第８実施例に係り、放物線近似によって位置ずれ量がサブピクセル精度で算出される様子を示す図である。 本発明の第８実施例に係り、第１の観測低解像度画像から初期高解像度画像が生成される様子を示す図である。 本発明の第８実施例に係り、高解像度画像から低解像度画像を再構成するために、高解像度画像に空間フィルタを作用させる様子を示す図である。 本発明の第８実施例に係り、高解像度画像から低解像度画像を再構成するための行列の例を示す図である。 本発明の第８実施例に係り、更新されるべき高解像度画像の画素配列と、その更新に用いられる低解像度画像の画素配列と、の関係を示す図である。 本発明の第８実施例に係り、フィードバック値を算出する時に使用される転置行列Ｗ1 T及びＷ2 Tにおける点広がり関数を示す図である。 図３４の行列の転置行列を示す図である。
符号の説明
１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２３ ＣＰＵ
５０、５０ａ、５０ｂ、５０ｃ、５０ｄ 超解像部
５１ 選択部
５２ ぼけ量推定部
５３、５３ａ、５３ｂ、５３ｃ、５３ｄ 基準画像設定部
５４ 位置ずれ検出部
５５ 初期高解像度画像生成部
５６ 選択部
５７ 超解像処理部
７５ センサ部
７６ 被写体サイズ検出部
７７ 顔状態検出部
８０ ＡＦ評価部

Claims (15)

  1. 複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置において、
    前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を備え、
    前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成する
    ことを特徴とする画像処理装置。
  2. 前記画像情報に基づいて各低解像度画像に含まれるぼけの大きさを推定するぼけ量推定手段を更に備え、
    前記基準画像設定手段は、前記ぼけ量推定手段の推定結果に基づいて前記基準画像を選択する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記ぼけ量推定手段は、各低解像度画像における高域周波数成分の量に基づいて、各低解像度画像に含まれるぼけの大きさを推定する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記複数の低解像度画像は、撮像装置による順次撮影にて得られた時系列に並ぶ低解像度画像列を形成し、
    前記ぼけ量推定手段は、前記低解像度画像列中の時間的に隣接する低解像度画像間の位置ずれ量に基づいて前記低解像度画像列の撮影期間中における前記撮像装置のぶれの状態を検出し、前記ぶれの状態の検出結果から、前記複数の低解像度画像間における、前記ぼけの大きさの大小関係を推定する
    ことを特徴とする請求項２に記載の画像処理装置。
  5. 前記基準画像設定手段は、前記複数の低解像度画像の内、推定されたぼけの大きさが最も小さい低解像度画像を前記基準画像として選択する
    ことを特徴とする請求項２〜請求項４の何れかに記載の画像処理装置。
  6. 各低解像度画像は撮像装置の撮影によって得られ、
    前記画像情報は、各低解像度画像の露光期間中における前記撮像装置のぶれの状態を検出するセンサの検出データを含み、
    前記基準画像設定手段は、前記センサの検出データに基づいて前記基準画像を選択する
    ことを特徴とする請求項１に記載の画像処理装置。
  7. 前記基準画像設定手段は、前記複数の低解像度画像の内、露光期間中における前記撮像装置のぶれの大きさが最も小さい低解像度画像を前記基準画像として選択する
    ことを特徴とする請求項６に記載の画像処理装置。
  8. 前記画像情報に基づいて、各低解像度画像に含まれる特定被写体の、画像上の大きさを検出する被写体サイズ検出手段を更に備え、
    前記基準画像設定手段は、検出された前記特定被写体の大きさに基づいて前記基準画像を選択する
    ことを特徴とする請求項１に記載の画像処理装置。
  9. 前記画像情報に基づいて各低解像度画像の中から人物の顔を検出するとともに前記顔の状態を検出する顔状態検出手段を更に備え、
    前記基準画像設定手段は、前記顔状態検出手段の検出結果に基づいて前記基準画像を選択する
    ことを特徴とする請求項１に記載の画像処理装置。
  10. 前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、
    当該画像処理装置は、
    前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、
    求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えた
    ことを特徴とする請求項１〜請求項９の何れかに記載の画像処理装置。
  11. 順次撮影によって時系列に並ぶ複数の低解像度画像を取得する撮像手段と、
    前記複数の低解像度画像に対する高解像度化処理によって高解像度画像を生成する、請求項１〜請求項１０の何れかに記載の画像処理装置と、を備えた
    ことを特徴とする撮像装置。
  12. 撮像素子及び被写体に応じた光学像を前記撮像素子上に結像させるための光学系を有して撮影によって撮影画像を得る撮像手段と、前記撮影画像内に設けられた焦点評価領域の映像信号に基づいて焦点評価値を導出する焦点評価値導出手段とを備え、前記焦点評価値に基づいて前記光学系を駆動制御してオートフォーカス制御を行う撮像装置において、
    前記撮像手段から得た複数の撮影画像を複数の低解像度画像として参照して、前記複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理装置を更に備え、
    前記画像処理装置は、各低解像度画像に対して導出された前記合焦評価値に基づいて前記複数の低解像度画像の中から基準画像を選択する基準画像設定手段を有し、前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成する
    ことを特徴とする撮像装置。
  13. 前記オートフォーカス制御では、前記焦点評価値が極大値をとるように前記光学系が駆動制御され、
    前記基準画像設定手段は、前記複数の低解像度画像の内、最大の合焦評価値に対応する低解像度画像を前記基準画像として選択する
    ことを特徴とする請求項１２に記載の撮像装置。
  14. 前記基準画像設定手段は、前記複数の低解像度画像の内の、前記基準画像以外の低解像度画像を参照画像として設定し、
    前記画像処理装置は、
    前記基準画像と前記参照画像との間の位置ずれ量を前記基準画像の画素間隔よりも高い分解能で求める位置ずれ検出手段と、
    求められた位置ずれ量と前記複数の低解像度画像を用い、前記基準画像を基準として前記高解像度化処理を行うことにより前記高解像度画像を生成する高解像度画像生成手段と、を更に備えた
    ことを特徴とする請求項１２又は請求項１３に記載の撮像装置。
  15. 複数の低解像度画像から前記低解像度画像の解像度よりも高い解像度を有する高解像度画像を生成する画像処理方法において、
    前記複数の低解像度画像の画像情報に基づいて前記複数の低解像度画像の中から基準画像を選択し、
    前記基準画像を基準として、解像度を増大させる高解像度化処理を前記複数の低解像度画像に対して実行することにより前記高解像度画像を生成する
    ことを特徴とする画像処理方法。
JP2008306297A 2008-01-18 2008-12-01 画像処理装置及び方法並びに撮像装置 Pending JP2009194896A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008306297A JP2009194896A (ja) 2008-01-18 2008-12-01 画像処理装置及び方法並びに撮像装置
US12/353,447 US8315474B2 (en) 2008-01-18 2009-01-14 Image processing device and method, and image sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008009242 2008-01-18
JP2008306297A JP2009194896A (ja) 2008-01-18 2008-12-01 画像処理装置及び方法並びに撮像装置

Publications (1)

Publication Number Publication Date
JP2009194896A true JP2009194896A (ja) 2009-08-27

Family

ID=40891097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008306297A Pending JP2009194896A (ja) 2008-01-18 2008-12-01 画像処理装置及び方法並びに撮像装置

Country Status (2)

Country Link
JP (1) JP2009194896A (ja)
CN (1) CN101488216A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003503A (ja) * 2010-06-16 2012-01-05 Canon Inc 画像処理装置およびその制御方法、並びにプログラム
JP2012003584A (ja) * 2010-06-18 2012-01-05 Hoya Corp 動画像強調処理システムおよび方法
WO2012018282A1 (ru) * 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
JP2012044510A (ja) * 2010-08-20 2012-03-01 Ricoh Co Ltd 撮像装置、撮像方法並びにプログラム
JP2012065125A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体
EP2793186A2 (en) 2013-04-15 2014-10-22 Omron Corporation Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
US10049432B2 (en) 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium
JPWO2019176177A1 (ja) * 2018-03-16 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN112639838A (zh) * 2018-10-12 2021-04-09 奥林巴斯株式会社 运算处理装置
WO2021220444A1 (ja) * 2020-04-28 2021-11-04 ソニーグループ株式会社 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339954B2 (ja) * 2009-02-17 2013-11-13 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
JP5473173B2 (ja) * 2010-12-03 2014-04-16 シャープ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN102186016B (zh) * 2011-04-27 2013-03-20 西安电子科技大学 基于球面像差混叠观测的超分辨率成像方法
JP5847228B2 (ja) * 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN104392411B (zh) * 2014-12-12 2017-06-16 中国农业大学 基于Shannon‑Blackman小波稀疏表达的图像处理方法及装置
JP6719104B2 (ja) * 2015-08-28 2020-07-08 パナソニックＩｐマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
CN105719236B (zh) * 2016-01-14 2018-08-14 北京师范大学 生成完整的高分辨率植被盖度图像季节变化序列的方法
CN106101545B (zh) * 2016-06-30 2019-10-15 维沃移动通信有限公司 一种图像处理方法及移动终端
JP7063321B2 (ja) * 2017-03-15 2022-05-09 ソニーグループ株式会社 撮像装置、映像信号処理装置および映像信号処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (ja) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd 撮像装置および方法並びにプログラム
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007013269A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置
JP2007074114A (ja) * 2005-09-05 2007-03-22 Olympus Imaging Corp 電子カメラ
JP2007251626A (ja) * 2006-03-16 2007-09-27 Olympus Imaging Corp カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005210288A (ja) * 2004-01-21 2005-08-04 Fuji Photo Film Co Ltd 撮像装置および方法並びにプログラム
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
JP2006270238A (ja) * 2005-03-22 2006-10-05 Nikon Corp 画像処理装置、電子カメラ、および画像処理プログラム
JP2007013269A (ja) * 2005-06-28 2007-01-18 Olympus Corp 撮像装置
JP2007074114A (ja) * 2005-09-05 2007-03-22 Olympus Imaging Corp 電子カメラ
JP2007251626A (ja) * 2006-03-16 2007-09-27 Olympus Imaging Corp カメラ

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003503A (ja) * 2010-06-16 2012-01-05 Canon Inc 画像処理装置およびその制御方法、並びにプログラム
JP2012003584A (ja) * 2010-06-18 2012-01-05 Hoya Corp 動画像強調処理システムおよび方法
US9020302B2 (en) 2010-08-06 2015-04-28 Dmitry Valerievich Shmunk Method for producing super-resolution images and nonlinear digital filter for implementing same
WO2012018282A1 (ru) * 2010-08-06 2012-02-09 Shmunk Dmitry Valerievich Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
US20130156345A1 (en) * 2010-08-06 2013-06-20 Dmitry Valerievich Shmunk Method for producing super-resolution images and nonlinear digital filter for implementing same
JP2012044510A (ja) * 2010-08-20 2012-03-01 Ricoh Co Ltd 撮像装置、撮像方法並びにプログラム
JP2012065125A (ja) * 2010-09-15 2012-03-29 Ricoh Co Ltd 撮像装置、電子機器、画像処理システムおよびコンピュータ読み取り可能な記録媒体
JP2014206926A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
EP2793186A2 (en) 2013-04-15 2014-10-22 Omron Corporation Image processing apparatus, method of controlling image processing apparatus, and non-transitory computer-readable recording medium
US9230307B2 (en) 2013-04-15 2016-01-05 Omron Corporation Image processing apparatus and method for generating a high resolution image
US10049432B2 (en) 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium
JPWO2019176177A1 (ja) * 2018-03-16 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6996616B2 (ja) 2018-03-16 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11379961B2 (en) 2018-03-16 2022-07-05 Sony Corporation Information processing apparatus, information processing method, and program
CN112639838A (zh) * 2018-10-12 2021-04-09 奥林巴斯株式会社 运算处理装置
WO2021220444A1 (ja) * 2020-04-28 2021-11-04 ソニーグループ株式会社 肌評価係数の学習装置、肌評価指標の推定装置、肌評価係数の学習方法、肌評価指標の推定方法、フォーカス値の取得方法および肌滑らかさの取得方法

Also Published As

Publication number Publication date
CN101488216A (zh) 2009-07-22

Similar Documents

Publication Publication Date Title
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
US8315474B2 (en) Image processing device and method, and image sensing apparatus
US9094648B2 (en) Tone mapping for low-light video frame enhancement
US9307212B2 (en) Tone mapping for low-light video frame enhancement
JP4513906B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US9325918B2 (en) Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
JP5319415B2 (ja) 画像処理装置、画像処理方法
US20100265353A1 (en) Image Processing Device, Image Sensing Device And Image Reproduction Device
US8036481B2 (en) Image processing apparatus and image restoration method and program
EP2560375B1 (en) Image processing device, image capture device, program, and image processing method
WO2011148760A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2012186593A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6120665B2 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
CN114339030B (zh) 一种基于自适应可分离卷积的网络直播视频稳像方法
JP2011114823A (ja) 画像処理装置及び撮像装置
JP2009111596A (ja) 撮像装置
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2010032649A1 (ja) 画像表示装置及び撮像装置
JP2009237650A (ja) 画像処理装置及び撮像装置
JP2012235198A (ja) 撮像装置
JP2013126123A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
Yue et al. Hdr video reconstruction with a large dynamic dataset in raw and srgb domains
JP5315093B2 (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130515

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130605