JP2007135133A - 撮像装置 - Google Patents

Abstract

【課題】電子ズーム撮影において画質を低下させることなく撮影倍率を大きくする。
【解決手段】ズームレンズ（２）により結像された被写体像を撮像する撮像素子１と、ズームレンズ（２）を駆動するレンズ駆動回路３と、撮影倍率を設定するためのズーム操作部材５と、撮像素子１により撮像した複数の画像を超解像合成するデータ処理回路８と、ズーム操作部材５の設定倍率が光学ズーム倍率のときは、レンズ駆動回路３によりズームレンズ（２）を駆動して設定倍率に調節し、設定倍率が電子ズーム倍率のときは、設定倍率に応じてデータ処理回路８の超解像合成画像を拡大する制御回路１３とを備える。
【選択図】図１

Description

本発明は撮像装置に関する。

ズームボタンを操作すると光学ズームに引き続いて電子ズームに移行し、拡大画像をモニターに表示するようにした撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平１０−００４５３１号公報

しかしながら、従来の撮像装置では、画像データの補間処理により解像度（画素数）の変換を行うので、撮影倍率が大きくなると画面にブロック状の画像が表示され、表示画像の画質が低下するという問題がある。また、このようなブロック状の画像が表示されないように制限すると、撮影倍率を大きくできないという問題がある。

（１） 請求項１の発明は、ズームレンズにより結像された被写体像を撮像する撮像素子と、ズームレンズを駆動するレンズ駆動手段と、撮影倍率を設定するためのズーム操作部材と、撮像素子により撮像した複数の画像を超解像合成する超解像合成手段と、ズーム操作部材の設定倍率が光学ズーム倍率のときは、レンズ駆動手段によりズームレンズを駆動して設定倍率に調節し、設定倍率が電子ズーム倍率のときは、設定倍率に応じて超解像合成手段の超解像合成画像を拡大する制御手段とを備える。
（２） 請求項２の撮像装置は、超解像合成手段によって、ズームレンズの倍率がテレ端側の倍率よりも低い所定倍率を超えたら超解像合成を開始するようにしたものである。
（３） 請求項３の撮像装置は、撮像素子の撮像画像から被写体に動きのある領域（動き領域）と被写体が静止している領域（静止領域）とを検出する領域検出手段を備え、制御手段によって、ズーム操作部材の設定倍率が電子ズーム倍率のとき、撮像素子の撮像画像の中の静止領域に対してはズーム操作部材の設定倍率に応じて超解像合成手段の超解像合成画像を拡大するとともに、撮像素子の撮像画像の中の前記動き領域に対してはズーム操作部材の設定倍率に応じて撮像素子の撮像画像を拡大し、それらを合成して設定倍率の画像を生成するようにしたものである。
（４） 請求項４の撮像装置は、制御手段によって、撮像素子の画素解像度により撮影を行う本撮影動作と、撮像素子を用いて本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行し、超解像合成手段によって、スルー画撮影動作により撮像した複数のスルー画像を超解像合成するようにしたものである。
（５） 請求項５の撮像装置は、画像を表示する画像表示手段を備え、制御手段によって、超解像合成手段で超解像合成に用いる画像を画像表示手段にサムネイル表示するようにしたものである。
（６） 請求項６の撮像装置は、制御手段によって、ズーム操作部材による設定倍率が光学ズーム倍率のときは、超解像合成手段で超解像合成に用いる画像を画像表示手段に表示し、設定倍率が電子ズーム倍率のときは、超解像合成手段の超解像合成画像を画像表示手段に表示するようにしたものである。
（７） 請求項７の撮像装置は、画像を記録する画像記録手段と、画像記録手段に記録可能な残容量を表示する残容量表示手段とを備え、制御手段によって、超解像合成画像を撮影する場合は残容量表示手段に超解像合成画像を記録可能な残容量を表示し、非超解像合成画像を撮影する場合は残容量表示手段に非超解像合成画像を記録可能な残容量を表示するようにしたものである。
（８） 請求項８の撮像装置は、制御手段によって、超解像合成画像を画像記録手段に記録できない場合には、超解像合成に用いた非超解像合成画像を画像記録手段に記録するようにしたものである。

本発明によれば、電子ズームの撮影倍率を従来にくらべてさらに大きくすることができ、また画質を従来に比べて高くすることができる。

図１は一実施の形態の撮像装置の構成を示す。撮像素子１は静止画像の単写撮影と連写撮影、さらに動画像の撮影が可能な撮像素子であり、撮影レンズ２により受光面上に結像された被写体像を撮影して映像信号を出力する。この撮像素子１にはＣＣＤやＣＭＯＳなどの撮像素子を用いることができ、電荷蓄積時間を制御して電子シャッター動作を行うことができる。撮影レンズ２は複数枚のレンズから構成され、レンズ駆動回路３によりフォーカシングとズーミングが可能である。測光回路４は被写体を測光し、測光データを出力する。操作部材５は、図示しないレリーズボタン（シャッターボタン）、ズームボタン、コマンドダイヤルなどの各種操作ボタンや設定ボタンを備えている。

撮像素子駆動回路６は被写体の測光データに基づいて撮像素子１を駆動する。信号処理回路７は撮像素子１から出力される映像信号に対して直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換などの処理を施し、画像データを生成してデータ処理回路８へ出力する。データ処理回路８は画像データに対して必要に応じてモニター９に表示するための解像度変換処理を施し、圧縮／復号（伸張）回路１０および表示制御回路１１へ出力する。表示制御回路１１は画像データに所定の信号処理を施し、モニター９に画像を表示する。表示制御回路１１はまた、画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、モニター９の被写体像にオーバーレイ画像が重畳表示される。

圧縮／復号回路１０は画像データに対して圧縮処理を施し、記録媒体１２に記録する。モニター９には記録媒体１２に圧縮して記録した画像データに対応する画像を表示する。なお、モニター９は記録媒体１２に記録されている画像データに対応する画像を再生画像として表示することもできる。モニター９にはＬＣＤを始め、画像や文字が表示可能なあらゆる形式の表示器を用いることができる。また、記録媒体１２には各種ハードディスクや各種メモリカードはもちろん、画像データや文字データを記録可能なあらゆる形式の記録装置を用いることができる。

制御回路１３は操作部材５からの操作信号や測光回路４からの測光データなどを入力し、レンズ駆動回路３、撮像素子駆動回路６、信号処理回路７、データ処理回路８、モニター９、圧縮／復号回路１０、表示制御回路１１、記録媒体１２を制御する。制御回路１３は、記録媒体１２に記録された画像データを読み出して圧縮／復号回路１０で復号化処理を施し、データ処理回路８、表示制御回路１１を介してモニター９へ出力する。

制御回路１３はまた、操作部材５の操作信号に基づいて撮像画面上に設定された焦点検出領域の画像データを抽出し、その領域のコントラスト値、またはその領域の高空間周波数成分量を算出し、算出結果に基づいて撮像素子受光面上の被写体像のフォーカス状態を調節する、いわゆるコントラストＡＦ動作を行う。つまり、レンズ駆動回路３により撮影レンズ２を駆動し、焦点検出領域における被写体に撮影レンズ２を合焦させる。

制御回路１３はさらに、レンズ駆動回路３により撮影レンズ２を駆動し、順次得られる映像信号または画像データを画面内の各被写体ごとに解析し、領域内のコントラスト値が最大となったときのレンズ位置をもとに、各被写体ごとの相対的な撮影距離情報を取得する。なお、このようなコントラストＡＦに代えて、公知の瞳分割方式の位相差ＡＦによりレンズ駆動を行ってもよい。この場合にも、自動合焦動作によって各領域の撮影距離情報を得ることができる。

制御回路１３は、操作部材５のズームボタンの操作に基づいてレンズ駆動回路３により撮影レンズ２を駆動し、撮像素子受光面上に結像される被写体像を拡大または縮小する光学的なズーム動作を行う。また、制御回路１３は、操作部材５のズームボタンの操作に応じてデータ処理回路８の解像度変換機能を制御し、撮像素子１で撮影した撮像画像データもしくは記録媒体１２に記録されている記録画像データを拡大または縮小し、電気的なズーミングを行う。

次に、一実施の形態の撮像装置における本撮影動作とスルー画撮影動作について説明する。なお、スルー画撮影は本撮影に先立って行われる予備的な撮影であるが、例えばデジタルスチルカメラでは、モニターにスルー画像を表示して画角を決め、主要被写体に対して撮影レンズの焦点調節を行うとともに被写界の測光を行い、シャッターレリーズ操作があると本撮影を行って高解像度の静止画像を得ている。

スルー画撮影動作は、操作部材５のレリーズボタンが半押し（第１ストロークまでの押圧操作）されている間、撮影レンズ１の自動合焦動作とともに実行される。レリーズボタンが半押しされると、制御回路１３は撮像素子駆動回路６を制御して撮像素子１によるスルー画撮影動作を実行する。撮像素子１は、スルー画撮影動作のための駆動信号を受信すると、高感度化を実現するために受光面上の近傍の同色画素（単板カラーの撮像素子の場合）の蓄積電荷を加算し、高解像度の本撮影に比べて低解像度の映像信号を例えば３０フレーム／秒の高フレームレートで連続的に出力する。

撮像素子１から出力される映像信号は、信号処理回路７とデータ処理回路８でそれぞれ所定の処理が施された後、表示制御回路１１を介してモニター９に供給され、モニター９に表示される。なお、ここでは撮像素子１上の近傍の同色画素の蓄積電荷を加算して読み出す例を示すが、所定の規則にしたがって画素の間引き読み出しを行ってもよい。撮影者は、モニター９に表示された映像により本撮影で撮影しようとしている被写界の状態を視認することができる。

なお、主要被写体に対する自動合焦動作はレリーズボタンの半押し操作により実行され、撮像素子１から出力される映像信号の内の所定領域（焦点検出領域）の映像信号のコントラストが最大になるように撮影レンズ２の焦点調節を行う。焦点調節の結果、合焦が達成されると、モニター９のＡＦ表示灯を赤色から緑色に切り換え、撮影者に対して撮影レンズ２が主要被写体に合焦したことを知らせる。

スルー画撮影動作中にレリーズボタンが全押し（上記第１ストロークよりも大きい第２ストロークまでの押圧操作）されると、本撮影動作を実行する。制御回路１３は、撮像素子駆動回路６を制御して撮像素子１による本撮影動作を実行する。撮像素子１は、本撮影動作のための駆動信号を受信すると、受光面上の各画素の蓄積電荷をそのまま別々に出力する。したがって、本撮影動作では、上述したスルー画撮影動作に比較して高解像度の映像信号が撮像素子１から出力される。

撮像素子１から出力された映像信号は、信号処理回路７とデータ処理回路８でそれぞれ所定の処理が施された後、表示制御回路１１を介してモニター９に供給され、モニター９に表示されるとともに、圧縮／復号回路１０を介して記録媒体１２に記録される。

一実施の形態の撮像装置は、上述した通常のスルー画撮影動作と静止画像の本撮影動作に加え、超解像合成動作を実行する。超解像合成動作では、撮影レンズ１の合焦後に取得した複数のスルー画像の位置合わせ処理を１画素未満の精度で行い、これらのスルー画像を合成して本撮影と同じ画素解像度のスルー画合成画像を生成し、さらにこのスルー画合成画像と本撮影により取得した本撮影画像とを合成する。

なお、この一実施の形態では、超解像動作を実行する超解像モードが設定されると、撮影モードにシャッター優先モードを自動的に設定し、測光回路４の測光結果によって長いシャッター速度が設定されて手ブレや被写体移動によるブレが発生するのを防止する。

単板撮像素子を例に上げて超解像合成動作を説明する。近年、撮像素子の高解像度化と平行して高感度化を図るために、撮像素子の画素開口率を大きくする傾向がある。この結果、画素開口と画素開口との間の隙間がますます狭くなってきている。固体撮像素子による撮影動作は実社会の空間的サンプリングに相当し、撮像素子の画素開口は、この空間的サンプリングが一定領域の光量の積分によってなされることを示している。すなわち、この場合の空間的サンプリングはその積分によって周波数特性が劣化している。

ここで、１回目の撮影時の撮像素子の画素と画素との間に、２回目の撮影時の画素が位置するように撮像素子の位置をずらして撮影を行い、取得した複数の画像を合成して超解像合成処理を行う撮像装置が知られている。しかし、このような超解像合成を行っても、単に画素数が上がるだけで解像度の向上はあまり期待できない。これは、画素開口を大きくして画素開口と画素開口との隙間を狭くすると、１回目の撮影時の画素開口と２回目の撮影時の画素開口とがオーバーラップする、つまり空間的サンプリング位置がオーバーラップするからである。このようなオーバーラップが発生すると、１回目の撮影時の画素開口と２回目の撮影時の画素開口とを正確に分離できなくなり、解像度を向上させることはできない。

そこで、一実施の形態の撮像装置では、複数のスルー画像を超解像合成し、本撮影により得られる画素数と同じ画素数のスルー画合成画像を生成し、このスルー画合成画像を本撮影画像と合成する。

例えば明るさの暗い移動被写体を撮影する場合には、本撮影においてシャッター速度を速くしないとぶれた画像になる。しかし、上述したように、スルー画撮影動作において複数のスルー画を超解像合成してスルー画合成画像を生成し、このスルー画合成画像の高周波成分を再現するために本撮影画像を加算して合成すれば、ぶれのない明るい画像を生成することができる。特に上述したように、スルー画撮影動作において所定の規則にしたがって画素の間引き読み出しを行う構成とすれば、スルー画像の画素数は本撮影画像の画素数に比べて少なく、スルー画像を本撮影画像と同じ画素数の画像に展開すると、画素開口と隣接する画素開口との隙間が広くなる。したがって、複数のスルー画を超解像合成しても画素開口どうしがオーバーラップするようなことはなく、さらに高解像度化が行える。

なお、スルー画を超解像合成せずに本撮影画像と合成しても、両画像の間で画素数に差がありすぎて画質が劣化する（画面上で明るさの段差ができる）可能性があり、適切な画像を生成することはできない。

図２は一実施の形態の撮像装置の超解像モード処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。操作部材５により超解像撮影モードが設定されると、制御回路１３はスルー画撮影動作を開始するように各部を制御するとともに図２に示す処理を開始する。

ステップ１において撮影モードにシャッター速度優先モードを設定する。超解像撮影モードで撮影を行う場合にはシャッター速度優先撮影モードを強制的に高速の電子シャッター速度に設定し、超解像合成に用いるスルー画像と本撮影による本撮影画像が手ブレや被写体移動によってぼけてしまうのを避ける。続くステップ２でレリーズボタンが半押しされたか否かを確認し、レリーズボタンが半押しされるとステップ３へ進む。ステップ３ではレンズ駆動回路３を制御してコントラストＡＦを行い、撮影レンズ２の焦点調節を行う。なお、レリーズボタンが半押しされている間、撮影レンズ２の焦点調節を行い、所定の焦点検出領域において合焦状態が検出されるとモニター９のＡＦ表示灯（不図示）を緑色に点灯して報知する。

ステップ４でレリーズボタンの半押しが継続されているか否かを確認し、半押しが中断された場合はステップ２へ戻り、上述した処理を繰り返す。半押しが継続されているときはステップ５へ進み、レンズ駆動回路３により撮影レンズ２を合焦状態に保持したまま、撮像素子駆動回路６により撮像素子１を駆動してスルー画撮影を繰り返し行い、撮像したスルー画をモニター９に表示しながらデータ処理回路８に内蔵するメモリ（不図示）に記録する。

ステップ６においてスルー画像を用いて被写体認識処理を行い、例えば被写界内に特定の「Ａさん」がいるか否かについて判断する。なお、被写体認識処理の対象は人に限定されず、人以外の物や色領域であってもよい。また、予め画像として登録されている特定被写体であってもよい。この被写体認識処理については詳細を後述する。

図３(ａ)は超解像モード処理の動作を示すタイミングチャートである。レリーズボタンの半押しにより自動焦点調節（ＡＦ）が行われ、撮影レンズ２の合焦状態を維持した状態でスルー画撮影が行われる。この一実施の形態ではスルー画の超解像合成を行うために１０枚のスルー画を撮影するものとする。撮影レンズ２の合焦状態を保ちながらスルー画撮影を繰り返し行っているときにレリーズボタンが全押しされると、１０枚（フレーム）のスルー画撮影が完了するまで待ち、１０枚のスルー画撮影が完了した後に本撮影を行う。

この一実施の形態では、複数のスルー画像を超解像合成してスルー画合成画像を生成するときの、位置合わせの基準となるスルー画像を、本撮影直前に撮影したスルー画像、すなわち図３(ａ)に示す例では１０枚目のスルー画像とする。本撮影直前に撮影したスルー画像を位置合わせの基準スルー画像とすることによって、基準スルー画像と本撮影画像との取得時刻差を最少とすることができるので、この間の手ブレや被写体移動による影響を最少にすることができ、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

なお、データ処理回路８の内蔵メモリにスルー画像を記憶する場合には、撮影された順に１０枚のスルー画像を書き込むが、１１枚目のスルー画像を書き込む前に１枚目のスルー画像を消去する。以後、最新のスルー画像を書き込む前に最も古いスルー画像を消去する。すなわち、所定の被写体に撮影レンズ２を合焦させた状態で、常に本撮影直前の最新の１０枚のスルー画像をデータ処理回路８の内蔵メモリに記憶する。

この一実施の形態では１０枚のスルー画像を記憶しておき、超解像合成に用いる例を示すが、超解像合成に用いるスルー画像の枚数は１０枚に限定されない。スルー画像の解像度（画素数）と本撮影画像の解像度（画素数）との差が大きいほど、超解像合成に用いるスルー画像の枚数を多くする必要がある。

図２に戻り超解像モード処理の説明を続ける。ステップ７でレリーズボタンの半押し操作が継続されているか否かを確認し、半押し操作が中断された場合はステップ８へ進み、スルー画撮影を終了するとともに、データ処理回路８の内蔵メモリに記憶したスルー画像を消去した後、ステップ２へ戻って上述した処理を繰り返す。

一方、レリーズボタンの半押し操作が継続されているときはステップ９へ進み、レリーズボタンが全押しされたか否かを確認する。レリーズボタンが全押しされていないときはステップ５へ戻り、上述した処理を繰り返す。レリーズボタンが全押しされているときはステップ１０へ進み、スルー画像を所定枚数、この一実施の形態では１０枚撮影したか否かを確認する。データ処理装置８のメモリに記憶されているスルー画像の枚数が１０枚未満の場合はステップ５へ戻り、上述した処理を繰り返す。

データ処理装置８のメモリに１０枚のスルー画像が記憶されている場合はステップ１１へ進み、撮像素子駆動回路６を制御して撮像素子１により本撮影を行い、データ処理回路８の内蔵メモリに記憶する。続くステップ１２においてデータ処理回路８のメモリに記憶されている１０枚のスルー画像を用いて超解像合成を行う。

図４は、複数のスルー画像を用いて超解像合成を行う際のスルー画像の選択方法を説明する図である。図において、×印は本撮影の直前に撮影されたスルー画像、すなわちこの一実施の形態では１０枚目のスルー画像の画素位置を表す。上述したように、この一実施の形態では、本撮影の直前に撮影された１０枚目のスルー画像を、複数のスルー画像の位置合わせをして超解像合成を行うときの基準スルー画像とする。この基準スルー画像の画素“×”の間の“□”、“△”、“○”の位置に他のスルー画像の画素が来るように複数のスルー画像を合成すれば、元のスルー画像の解像度（画素数）の４倍の解像度（画素数）のスルー画合成画像を生成することができる。この明細書では、これらの“□”、“△”、“○”の画素位置を超解像合成を行う場合の“理想画素位置”と呼ぶ。

スルー画撮影において取得した１０枚のスルー画像の内の基準スルー画像を除く９枚の中から、超解像合成の理想画素位置“□”、“△”、“○”に画素が来るスルー画像を３枚選び、基準スルー画像と合成すれば元のスルー画像よりも解像度の高いスルー画合成画像が得られる。ところが、基準スルー画像を除く９枚のスルー画像の中に、理想画素位置に画素が来るスルー画像が存在することは少ない。そこで、基準画像を除く９枚のスルー画像の中から、理想画素位置に最も近い画素のスルー画像を３枚選び、補間演算処理により理想位置の画像データを算出してから超解像合成を行う。

もちろん、超解像画像の合成時間を短縮するために、理想画素位置に最も近い画素のスルー画像を選び、補間演算処理を行わずに理想画素位置にあるものとして超解像合成を行ってもよい。

理想画素位置に近いスルー画像と基準スルー画像とを合成する際には、スルー画像の連続撮影中の手ブレや被写体移動のために、スルー画像どうしを完全に重ね合わせることができず、互いにある程度ずらして重ね合わせる必要がある。このずらし量が大きいと画像合成したときの共通の画像領域が狭くなり、共通領域においては超解像画像が生成されるが、非共通領域では画像が合成されず超解像画像は生成されない。したがって、超解像合成においてスルー画像どうしをずらして重ね合わせるときに、ずらし量が大きいと超解像合成後のスルー画合成画像において画素解像度が増えない領域が大きくなる。そのため、上述した理想画素位置に最も近い画素位置のスルー画像を選ぶときに、超解像合成における合成領域の面積が広いこと、すなわち基準スルー画像と共通の画像領域が広いことを選択条件に加えてもよい。また、基準スルー画像に対するずらし量が少ないことを選択条件に加えてもよい。

なお、図４において、例えば理想画素位置“□”に最も近いスルー画像が、基準スルー画像（画素位置“×”）に対して上記のずらし量が大きく、基準スルー画像と共通ではない画像領域において“□”位置の画素が欠落した場合には、当該画像領域においては残りの“×”、“△”、“○”の画素データから補間演算などによって算出する構成としてもよい。このような現象は特に画像の端部で発生する。

また、撮影時の撮影条件、すなわちシャッター速度、絞り値、焦点距離、画像信号の増幅率、ホワイトバランス、ガンマ値などが異なると、超解像合成に適さないスルー画像になるおそれがある。したがって、これらの撮影条件が変更される可能性がある場合には、撮影条件が同一であることを条件に基準スルー画像と合成するスルー画像を選択するようにしてもよい。あるいは、超解像画像処理において、自動焦点調節により合焦状態が達成された後はスルー画像の撮影条件の変更を禁止するようにしてもよい。

図２のステップ１２において、複数のスルー画像を用いて超解像合成によりスルー画合成画像を生成した後、ステップ１３でスルー画合成画像と本撮影画像とを合成し、記録媒体１２に記録するとともにモニター９に表示する。

ここで、スルー画合成画像と本撮影画像との合成画像を記録媒体１２に記録するか否かを撮影者に確認するためのダイアログをモニター９に表示し、記録が選択された場合にのみ記録媒体１２に記録するようにしてもよい。スルー画合成画像と本撮影画像との合成画像を記録しない場合には、本撮影画像を記録媒体１２に自動的に記録するか、あるいは、本撮影画像を記録するか否かを撮影者に確認するためのダイアログをモニター９に表示し、記録が選択された場合にのみ記録媒体１２に本撮影画像を記録するようにしてもよい。

なお、スルー画合成画像と本撮影画像との合成処理が終了するまでは、本撮影により撮影した画像をモニター９に表示するとともに、超解像合成中であることを示すアイコンなどを本撮影画像に重畳して表示する。スルー画合成画像と本撮影画像との合成処理が終了したら、本撮影画像と上記アイコンの表示に代えて合成処理結果の画像をモニター９に表示する。

スルー画合成画像と本撮影画像との合成画像を記録媒体１２に記録する際には、超解像合成に用いたスルー画像データ、超解像合成後のスルー画合成画像データ、本撮影画像データ、超解像合成における位置ずれ補償量、合成に用いた各画像の撮影時刻および撮影時間、超解像合成に用いたスルー画像の数などを、必要に応じて関連づけて記録するようにしてもよい。例えばそれらを同一のフォルダーに記録したり、同一のファイル名で拡張子を変えて記録する。このような記録方法を採用することによって、撮影後の画像編集作業を簡便にすることができる。

《スルー画撮影中のモニター表示》
自動焦点調節（ＡＦ）による合焦達成後のスルー画撮影動作において撮影されたスルー画像を、動き補償することなく順次重畳してモニター９に表示するようにしてもよい。これにより、スルー画撮影中に上述した画面端の基準スルー画像と共通ではない画像領域を把握することができる。撮影者は、モニター表示を見て画面端のスルー画合成画像が得られない領域が大きいと判断した場合には、直ちにレリーズボタンの半押しを解除することによって、それまでに撮影してメモリに記憶したスルー画を消去することができる。

《超解像合成に用いるスルー画像の選択方法の変形例》
上述した一実施の形態ではレリーズボタン全押し後の本撮影直前に撮影されたスルー画像を超解像合成の基準スルー画像とする例を示したが、自動焦点調節（ＡＦ）による合焦後の最初に得られたスルー画像を基準スルー画像としてもよい。この場合、基準スルー画像撮影以降にスルー画像を撮影するたびに、基準スルー画像の理想画素位置に最も近い画素のスルー画像で、かつ基準スルー画像と共通の画像領域が広いスルー画像か否か、すなわち超解像合成に用いることができる最適なスルー画像か否かを判定することができ、超解像合成に用いることができると判定されたスルー画像に対しては直ちに位置合わせ処理と合成処理を開始することができる。

具体的には、自動焦点調節（ＡＦ）による合焦後の最初に得られたスルー画像を基準スルー画像とし、基準スルー画像以降に撮影されたスルー画像の画素位置が、上述した基準スルー画像の理想画素位置から例えば１／８画素ピッチ未満か否かを判定し、この画素位置のずれが１／８画素ピッチ未満の場合にはそのスルー画像を超解像合成に用いるものとする。このとき、超解像合成に用いるスルー画像の取得状況を、プログレスバーなどによりモニター９に表示することによって、撮影者が撮影の進捗状況を容易に把握することができる。

また、図３(ｂ)に示すように、このようなスルー画像撮影中にレリーズボタンが全押しされた場合には、超解像合成に使用できるスルー画像が必要枚数得られた時点でスルー画撮影を停止し、直ちに本撮影動作を実行することもできる。つまり、超解像合成結果のスルー画合成画像が得られたら本撮影動作を許可することによって、解像度の高い明るい画像を確実に撮影することができる。

さらに、自動焦点調節（ＡＦ）による合焦達成後、レリーズボタンの全押し操作があったら、所定枚数のスルー画撮影の後に本撮影を行い、スルー画像の超解像合成と、そのスルー画合成画像と本撮影画像との合成までを自動的に行うようにしてもよい。なお、この場合には、合焦達成後の最初のスルー画像を基準画像としてもよいし、本撮影直前のスルー画像を基準画像としてもよい。

さらにまた、レリーズボタンの半押し操作があると、合焦達成後の最初のスルー画像を基準スルー画像とし、撮影レンズの自動焦点調節とスルー画撮影動作を実行するとともに超解像合成を連続して行い、レリーズボタンが解放されると、超解像合成を停止するようにしてもよい。

《超解像合成に用いるスルー画像の選択方法の他の変形例》
上述した一実施の形態では、超解像合成に用いるスルー画像を本撮影前に取得する例を示したが、本撮影後に取得するようにしてもよい。具体的には、図３(ｃ)に示すように、自動焦点調節（ＡＦ）による合焦達成後、レリーズボタンの全押し操作により本撮影動作を実行し、本撮影画像をデータ処理装置８のメモリに一時的に記憶する。本撮影動作後、直ちに超解像合成に用いるスルー画像の撮影を開始する。そして、本撮影後の最初に撮影したスルー画像を基準スルー画像とし、この基準スルー画像以降に撮影されたスルー画像の画素位置が、上述した基準スルー画像の理想画素位置から例えば１／８画素ピッチ未満か否かを判定し、この画素位置のずれが１／８画素ピッチ未満の場合にはそのスルー画像を超解像合成に用いるものとする。

基準スルー画像の画素位置周囲のすべての理想画像位置において、１／８画素ピッチ未満の画素を有するスルー画像を取得した時点でスルー画像の撮影を終了し、基準スルー画像と選択したスルー画像を用いて超解像合成によりスルー画合成画像を生成し、さらにこのスルー画合成画像と本撮影画像とを合成する画像処理を実行する。

なお、このような本撮影後にスルー画撮影を行う場合には、レリーズボタンの全押し操作が継続されている間のみ、本撮影に続くスルー画撮影を行うようにしてもよい。スルー画像の撮影途中でレリーズボタンの全押しが解除された場合には、超解像合成を含む一連の画像処理を実行せず、撮影してデータ処理回路８のメモリに一時的に記憶した本撮影画像とスルー画像を消去してもよい。あるいは、超解像モードが設定されている場合には、レリーズボタン全押しによる本撮影後に、レリーズボタンの全押しが継続されていなくても自動的にスルー画撮影を実行するようにしてもよい。

このように、本撮影後に超解像合成に用いるスルー画像を撮影することによって、本撮影に最も近い時間に撮影されたスルー画像を超解像合成における基準スルー画像とするので、レリーズボタン全押し時点に近い超解像合成画像を得ることができる。また、スルー画撮影動作に並行してスルー画像の選択と超解像合成とを実行するので、基準スルー画像データ、超解像合成過程の合成画像データを記憶するメモリがあればよく、メモリ容量を低減することができる。

上述した一実施の形態では超解像合成に用いるスルー画像を選択する際に、理想画素位置に最も近い画素のスルー画像か否かを、画面全範囲の理想画素位置について確認する例を示したが、予め設定した撮影画面の一部領域において上記の確認処理を実行するようにしてもよい。なお、例えば公知の顔認識技術を用いて画像中から人の顔領域を抽出し、この人の顔領域において理想画素位置に最も近い画素のスルー画像か否か確認するようにしてもよい。また、一般的な画像処理では画像の上から下へ順に処理を行うので、画像の上部領域において理想画素位置に最も近い画素のスルー画像か否か確認するようにしてもよい。これらの手法により、スルー画像の選択処理時間を短縮することができる。

一実施の形態によれば、被写体像を撮像して画像信号を出力する撮像素子と、撮像素子の画素解像度により撮影を行う本撮影動作と、撮像素子を用いて本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行する制御回路とを備えた画像処理装置において、スルー画撮影動作により撮影した複数のスルー画像を超解像合成し、本撮影動作による画素解像度と同じ画素解像度のスルー画合成画像を生成するとともに、スルー画合成画像と本撮影動作による本撮影画像とを合成するようにしたので、被写体が暗い場合でも解像度の高い明るい画像を得ることができる。

一実施の形態によれば、スルー画撮影動作により撮影した複数のスルー画像の中から、本撮影動作による本撮影画像の取得時刻に最も近い時刻に取得したスルー画像を基準スルー画像とし、基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に他のスルー画像を超解像合成するようにしたので、基準スルー画像と本撮影画像との取得時刻差を最少とすることができる。そのため、この間の手ブレや被写体移動による影響を最少限に抑制でき、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

一実施の形態によれば、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、基準スルー画像と共通の画像領域が広いスルー画像を選択するようにしたので、超解像合成後のスルー画合成画像において画素解像度の高い超解像画像の領域が広くなり、最終的に解像度の高い明るい画像を得ることができる。

一実施の形態によれば、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、予め設定した撮影画面の一部の領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、被写体認識手法により撮影画像の中から人の顔領域を検出し、撮影画像の中の人の顔領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる上に、人物撮影において人の顔を明るく鮮明に撮影することができる。

一実施の形態によれば、撮影画面の上部領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにした。一般的な画像処理においては画像の上から下へ順に処理を行うので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、本撮影動作の直前に撮影したスルー画像を基準スルー画像とし、基準スルー画像に対して本撮影動作の前に撮影した他のスルー画像を超解像合成するようにしたので、基準スルー画像と本撮影画像との取得時刻差が最少となり、この間の手ブレや被写体移動による影響を最少限に抑制でき、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

一実施の形態によれば、スルー画撮影動作において予め設定された枚数のスルー画像が撮影されたら本撮影動作を許可するようにしたので、超解像合成を行う際に基準スルー画像の画素周辺の理想画素位置に画素が来るスルー画像を選択できる確率が高くなり、超解像合成により解像度の高いスルー画合成画像を生成でき、最終的に解像度の高い明るい画像を得ることができる。

一実施の形態によれば、本撮影動作の直後に撮影したスルー画像を基準スルー画像とし、基準スルー画像に対して本撮影動作の後に撮影した他のスルー画像を超解像合成するようにした。本撮影に最も近い時間に撮影されたスルー画像を超解像合成における基準スルー画像とするので、レリーズボタン全押し時点に近い超解像合成画像を得ることができる。また、スルー画撮影動作に平行してスルー画像の選択と超解像合成とを実行するので、基準スルー画像を記憶するメモリがあればよく、メモリ容量を低減することができる。

一実施の形態によれば、撮像素子に被写体像を結像するための撮影レンズと、撮影レンズを駆動して自動焦点調節を行うレンズ駆動回路とを備え、撮影レンズの自動焦点調節を行い、撮影レンズの合焦状態においてスルー画撮影動作を実行するようにしたので、被写体にピントの合ったスルー画像を用いて超解像合成を行うことができ、最終的に被写体にピントの合った解像度の高い明るい画像を得ることができる。

一実施の形態によれば、撮影レンズの合焦状態が達成された後に最初に撮影したスルー画像を基準スルー画像とし、基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に対して撮影レンズの合焦状態において撮影した他のスルー画像を超解像合成するようにした。これにより、基準スルー画像撮影以降にスルー画像を撮影するたびに、基準スルー画像の理想画素位置に最も近い画素のスルー画像で、かつ基準スルー画像と共通の画像領域が広いスルー画像か否か、すなわち超解像合成に用いることができる最適なスルー画像か否かを判定することができ、超解像合成に用いることができると判定されたスルー画像に対しては直ちに位置合わせ処理と合成処理を開始することができる。したがって、超解像合成結果のスルー画合成画像をすばやく得ることができ、解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、超解像合成結果のスルー画合成画像が得られたら本撮影動作を許可するようにしたので、解像度の高い明るい画像を確実に撮影することができる。

一実施の形態によれば、レリーズボタンの半押し操作があると、撮影レンズの自動焦点調節とスルー画撮影動作を実行するとともに超解像合成を行い、レリーズボタンが解放されると、超解像合成を停止するようにしたので、レリーズボタンの半押しによりスルー画像の超解像合成を操作することができ、操作性を向上させることができる。

一実施の形態によれば、超解像合成に用いるスルー画像から被写体認識を行い、その認識結果を用いて超解像合成結果のスルー画合成画像の被写体認識処理を行うようにしたので、超解像合成画像における被写体認識に要する時間を短縮することができる。その結果、さらに基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、超解像合成に用いる基準スルー画像から被写体認識を行うようにしたので、超解像合成結果のスルー画合成画像おける正確な被写体認識結果を得ることができる。

一実施の形態によれば、超解像合成時の位置合わせ情報に基づいて、被写体認識結果の位置データをスルー画合成画像における位置データに変換するようにしたので、認識する被写体領域が小さい場合でも画素解像度の高い画像中で迅速に被写体領域を検出することができる。

《光学ズーム〜電子ズーム処理》
電子ズーム撮影モードにおいて超解像合成画像を拡大表示する実施例を説明する。スルー画撮影動作において連続的にスルー画像を撮影するとともに、撮影したスルー画を用いて随時超解像合成を行い、モニター９にスルー画像を表示している状態において、操作部材５のズームボタン（不図示）が操作されると、ズームボタンの設定倍率が光学ズーム範囲の倍率のときは、レンズ駆動回路３により撮影レンズ２のズーミングレンズ（不図示）を駆動して設定倍率に調節し、設定倍率が電子ズーム範囲の倍率のときは、設定倍率に応じて超解像合成画像すなわちスルー画合成画像を拡大表示する。これにより、電子ズームの撮影倍率を従来に比較してさらに大きくすることができ、また画質を従来に比較して高くすることができる。

なお、光学ズーム範囲とは、撮影レンズ２のズーミングレンズを移動することによって撮影倍率を調節する範囲であり、電子ズーム範囲とは、撮影レンズ２のズーミングレンズを固定したまま撮像した画像を画像処理により拡大して撮影倍率を調節する範囲である。これらの光学ズーム範囲と電子ズーム範囲とはオーバーラップさせて設定しても構わないが、通常は、光学ズーム範囲に続いて電子ズーム範囲が連続的に設定される。

また、ここでは複数のスルー画像を超解像合成する例を示すが、上述した本撮影動作により撮影した複数の本撮影画像を超解像合成してもよい。複数の本撮影画像を超解像合成すれば、その超解像合成画像の画素解像度は本撮影画像の画素解像度よりも高くなる。

この実施例では、撮影レンズ２のズーム倍率がテレ端側の倍率よりも低い所定倍率を超えたら、スルー画像の超解像合成を開始する。光学ズームに引き続いて電子ズームを行う場合には、超解像合成に必要な撮影領域は光学ズームがテレ端ときの撮影領域である。しかし、実際には手ブレなどにより撮影領域が変化することがあるので、超解像合成に用いる撮影領域はテレ端時の撮影領域より若干広めにしておくことが望ましい。そのため、この実施例では、光学ズームから電子ズームへの継続した拡大操作がなされたときに、光学ズームのテレ端に至る前から超解像合成を開始する。これにより、光学ズームから電子ズームへ移行してすぐ手ブレにより撮影範囲が変化しても、超解像合成画像すなわちスルー画合成画像を読み出して拡大し、表示画面いっぱいに画像を表示することができる。なお、光学ズームのワイド端あるいはその近くからスルー画像の超解像合成を開始してももちろん構わない。

ズームボタンにより画像の拡大操作が行われたときの超解像合成画像、すなわちスルー画合成画像は、拡大操作前に表示されていたスルー画領域の画像である。このスルー画合成画像の画素数はモニター９の表示画素数に比較して多い。画像表示の遅れを防ぐためには、スルー画合成画像（超解像合成画像）の画像データのうち、モニター９の表示画素数に相当する画素を間引き読み出しすることが望ましい。しかし、ある程度の時間遅れが許容される場合には、表示画素数に合わせたローパスフィルター処理を施した上で、表示画素数分の画像データを読み出す構成とした方が高画質の画像を表示することができる。

その後もズームボタンにより電子ズームの画像拡大操作が続けられると、読み出し領域を順次狭くして上記手順により拡大画像を表示する。さらに電子ズームの画像拡大操作が続けられると、モニター９の表示画素数と読み出し領域の画素数とが等しくなる。その後もさらに拡大操作が続けられると、読み出し領域をさらに狭くしていき、補間演算によって表示画素数の画像データを生成する。

なお、上述した電子ズーム処理は被写体が静止していることを前提にしたものである。移動被写体を撮影しながら上述したズーム処理を行う場合には、撮像素子１の撮像画像から被写体に動きのある領域（この明細書では“動き領域”という）と、被写体が静止している領域（この明細書では“静止領域”という）とを検出する領域検出回路を備え、操作部材５のズームボタンによる設定倍率が電子ズーム倍率のとき、撮像素子１の撮像画像の中の静止領域に対しては操作部材５のズームボタンの設定倍率に応じて超解像合成画像（スルー画合成画像）を拡大するとともに、撮像素子１の撮像画像の中の動き領域に対してはズームボタンの設定倍率に応じて撮像素子１の撮像画像を拡大し、それらを合成して設定倍率の画像を生成する。これにより、移動被写体を撮影する場合でも、電子ズームの撮影倍率を従来に比較してさらに大きくすることができ、また画質を従来に比較して高くすることができる。

《サムネイル画像》
記録媒体１２に記録される画像の内の複数の画像をモニター９にまとめて表示する、いわゆるサムネイル表示と呼ばれる表示形態がある。通常、このようなサムネイル画像は本撮影画像とは別の画像データとして記録媒体１２に記録される。この一実施の形態では、このサムネイル画像を、スルー画合成画像と本撮影画像とを合成した画像から生成せず、上述した基準スルー画像または本撮影画像に対してローパスフィルター処理を施して生成する。このように、超解像合成画像や最終的な合成画像（スルー画合成画像と本撮影画像との合成画像）をサムネイル表示するのではなく、超解像合成、またはその後の合成に用いる画像、すなわちスルー画像や本撮影画像から生成された画像をサムネイル表示するようにしたので、超解像合成画像や最終的な合成画像が生成されるのを待つことなくサムネイル画像を生成でき、記録処理の完了までの動作を迅速に行うことができる。

《再生拡大表示》
次に、記録媒体１２に記録された超解像合成画像の再生動作を説明する。操作部材５の操作によってモニター９に再生しようとする超解像合成画像が選択された場合に、制御回路１３は、表示専用画像として記録されているビュー画像をモニター９に再生する。通常、記録媒体１２には、再生時のレスポンスを向上させるために、本画像と表示専用画像とが記録されている。この状態で再生画像の電気的な拡大表示が指示された場合には、記録媒体１２に記録されている超解像合成画像から、補間処理を行うことなくある領域の画像データを読み出して拡大表示する。撮影倍率の拡大操作にともなって読み出し領域を随時小さくし、読み出し領域がモニター９の表示画素解像度未満となった時点で、電気的な補間処理をともなう拡大動作に移行する。

このように、再生画像を拡大表示する際に超解像合成画像の読み出し領域の大きさを変更するようにしたので、撮影倍率を順次大きくすることによって前段階では視認できなかった細い線などを視認できるようになり、補間処理をともなわない拡大が行える撮影倍率の範囲を増やすことができ、高画質の再生画像を得ることができる。

また、操作部材５のズームボタンによる設定倍率が光学ズーム倍率のときは、超解像合成に用いる画像（スルー画像または本撮影画像）をモニター９に表示し、設定倍率が電子ズーム倍率のときは、超解像合成画像や最終的な合成画像（スルー画合成画像と本撮影画像との合成画像）をモニター９に表示する。これにより、光学ズームでは画像再生のレスポンスが向上し、電子ズームでは高画質な画像を表示することができる。

《残容量表示》
なお、上述した一実施の形態では、スルー画像の超解像合成により得られるスルー画合成画像の画素解像度と本撮影画像の画素解像度とを一致させてから合成する例を示したが、画素解像度は上述した一実施の形態の画素解像度に限定されず、最終的に得られる合成画像の画素解像度が本撮影画像の画素解像度より多い場合にも本発明の画像処理方法を適用することができる。この場合には、スルー画像の超解像合成において本撮影画像の画素解像度よりも多い画素解像度のスルー画合成画像を生成し、本撮影を複数回実行して複数の本撮影画像を超解像合成し、スルー画合成画像と本撮影画像の超解像合成画像との画素解像度を一致させて合成すればよい。

本撮影画像の画素解像度より多い画素解像度の画像を生成する場合は、通常の静止画撮影の場合に比べて最終的な合成画像を記録する記憶容量が大きくなり、記録媒体１２に記録できる画像枚数が減少するため、撮影者にその旨を報知する必要がある。

そこで、この一実施の形態では、モニター９に表示する記録媒体１２の残容量表示を、通常の撮影モードの場合と超解像撮影モードの場合とで異なる表示形態にする。例えば、超解像合成を含む画像処理で最終的に生成される合成画像の画素解像度が、通常の静止画撮影モードで生成される静止画像の４倍の画素解像度を有する場合には、記録媒体１２に記録可能な残枚数は、通常撮影モード選択時に１６枚であっても超解像撮影モード選択時は４枚になる。なお、残記録枚数を数値で直接表示しなくても、棒グラフなどで間接的に表示する場合にも一実施の形態の残容量表示方法を適用することができる。

また、例えば、通常撮影モードで記録媒体１２に記録可能な枚数が１２０枚で、現在までに通常撮影で８０枚の画像を記録している場合に、通常撮影モード選択時にはモニター９に「８０／１２０」の残枚数を表示し、残り４０枚の記録が可能な旨を撮影者に報知する。この状態で超解像撮影モードが選択されると、モニター９の残枚数表示を「２０／３０」に切り換え、あと１０枚の超解像合成画像の記録が可能な旨を撮影者に報知する。つまり、選択された撮影モードに応じた残記録枚数を表示する。

このように、超解像合成画像を撮影する場合は超解像合成画像を記録可能な残容量を表示し、非超解像合成画像を撮影する場合は非超解像合成画像を記録可能な残容量を表示するようにしたので、記録画像の種類に応じた正確な記録残容量を表示することができる。

また、超解像合成画像を記録媒体１２に記録できない場合には、超解像合成に用いた非超解像合成画像（スルー画像と本撮影画像）を記録媒体１２に記録するようにしたので、超解像合成画像の記録余裕がない場合でもその撮影シーンの画像を確実に記録することができる。

一実施の形態の撮像装置の構成を示す図である。 一実施の形態の撮像装置の超解像モード処理を示すフローチャートである。 一実施の形態の撮像装置の超解像モード処理を示すタイミングチャートである。 スルー画像を用いて超解像合成を行う処理の説明図である。

符号の説明

１ 撮像素子
２ 撮影レンズ
３ レンズ駆動回路
５ 操作部材
６ 撮像素子駆動回路
７ 信号処理回路
８ データ処理回路
９ モニター
１０ 圧縮／復号回路
１１ 表示制御回路
１２ 記録媒体
１３ 制御回路

Claims (8)

1. ズームレンズにより結像された被写体像を撮像する撮像素子と、
   前記ズームレンズを駆動するレンズ駆動手段と、
   撮影倍率を設定するためのズーム操作部材と、
   前記撮像素子により撮像した複数の画像を超解像合成する超解像合成手段と、
   前記ズーム操作部材の設定倍率が光学ズーム倍率のときは、前記レンズ駆動手段により前記ズームレンズを駆動して設定倍率に調節し、設定倍率が電子ズーム倍率のときは、設定倍率に応じて前記超解像合成手段の超解像合成画像を拡大する制御手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記超解像合成手段は、前記ズームレンズの倍率がテレ端側の倍率よりも低い所定倍率を超えたら超解像合成を開始することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像素子の撮像画像から被写体に動きのある領域（以下、動き領域という）と被写体が静止している領域（以下、静止領域という）とを検出する領域検出手段を備え、
   前記制御手段は、前記ズーム操作部材の設定倍率が電子ズーム倍率のとき、前記撮像素子の撮像画像の中の前記静止領域に対しては前記ズーム操作部材の設定倍率に応じて前記超解像合成手段の超解像合成画像を拡大するとともに、前記撮像素子の撮像画像の中の前記動き領域に対しては前記ズーム操作部材の設定倍率に応じて前記撮像素子の撮像画像を拡大し、それらを合成して設定倍率の画像を生成することを特徴とする撮像装置。
4. 請求項１〜３のいずれか１項に記載の撮像装置において、
   前記制御手段は、前記撮像素子の画素解像度により撮影を行う本撮影動作と、前記撮像素子を用いて前記本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行し、
   前記超解像合成手段は、前記スルー画撮影動作により撮像した複数のスルー画像を超解像合成することを特徴とする撮像装置。
5. 請求項１〜４のいずれか１項に記載の撮像装置において、
   画像を表示する画像表示手段を備え、
   前記制御手段は、前記超解像合成手段で超解像合成に用いる画像を前記画像表示手段にサムネイル表示することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記制御手段は、前記ズーム操作部材による設定倍率が光学ズーム倍率のときは、前記超解像合成手段で超解像合成に用いる画像を前記画像表示手段に表示し、設定倍率が電子ズーム倍率のときは、前記超解像合成手段の超解像合成画像を前記画像表示手段に表示することを特徴とする撮像装置。
7. 請求項１〜６のいずれか１項に記載の撮像装置において、
   画像を記録する画像記録手段と、
   前記画像記録手段に記録可能な残容量を表示する残容量表示手段とを備え、
   前記制御手段は、超解像合成画像を撮影する場合は前記残容量表示手段に超解像合成画像を記録可能な残容量を表示し、非超解像合成画像を撮影する場合は前記残容量表示手段に非超解像合成画像を記録可能な残容量を表示することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記制御手段は、超解像合成画像を前記画像記録手段に記録できない場合には、超解像合成に用いた非超解像合成画像を前記画像記録手段に記録することを特徴とする撮像装置。

Images