JP2007133810A - 画像処理装置 - Google Patents

Abstract

【課題】被写体が暗い場合でも解像度の高い明るい画像を得る。
【解決手段】被写体像を撮像して画像信号を出力する撮像素子と、撮像素子の画素解像度により撮影を行う本撮影動作と、撮像素子を用いて本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行する制御回路とを備えた画像処理装置において、スルー画撮影動作により撮影した複数のスルー画像を超解像合成し、本撮影動作による画素解像度と同じ画素解像度のスルー画合成画像を生成するとともに、スルー画合成画像と本撮影動作による本撮影画像とを合成する。
【選択図】図２

Description

本発明は画像処理装置に関する。

撮像素子またはカメラアングルを微少変位させて撮影を行い、２枚の撮像画像を合成して元の画像よりも解像度の高い画像を生成する、いわゆる超解像画像の画像処理技術が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００２−３００３７２号公報

ところで、一般のデジタルスチルカメラでは、モニターにスルー画像を表示して画角を決め、主要被写体に対して撮影レンズの焦点調節を行った後、シャッターレリーズ操作があると本撮影を行っているが、例えば暗い移動被写体を撮影する場合には、本撮影においてシャッター速度を速くしないと“ぶれた”画像になる。ここで、上述した超解像撮影を行ったとしても、解像度は上がるが画像自体を明るくすることはできない。加えて、本撮影を少なくとも２回行って撮像画像を超解像合成しなければならないので、撮影に手間と時間がかかる。

（１） 請求項１の発明は、被写体像を撮像して画像信号を出力する撮像素子と、撮像素子の画素解像度により撮影を行う本撮影動作と、撮像素子を用いて本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行する制御手段とを備えた画像処理装置に適用され、スルー画撮影動作により撮影した複数のスルー画像を超解像合成し、本撮影動作による画素解像度と同じ画素解像度のスルー画合成画像を生成する超解像合成手段と、スルー画合成画像と本撮影動作による本撮影画像とを合成する通常合成手段とを備える。
（２） 請求項２の画像処理装置は、超解像合成手段によって、スルー画撮影動作により撮影した複数のスルー画像の中から、本撮影動作による本撮影画像の取得時刻に最も近い時刻に取得したスルー画像を基準スルー画像とし、この基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に他のスルー画像を超解像合成するようにしたものである。
（３） 請求項３の画像処理装置は、超解像合成手段によって、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、基準スルー画像と共通の画像領域が広いスルー画像を選択するようにしたものである。
（４） 請求項４の画像処理装置は、超解像合成手段によって、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、予め設定した撮影画面の一部の領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたものである。
（５） 請求項５の画像処理装置は、撮影画像の中から人の顔領域を検出する被写体認識手段を備え、超解像合成手段によって、撮影画像の中の人の顔領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたものである。
（６） 請求項６の画像処理装置は、超解像合成手段によって、撮影画面の上部領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたものである。
（７） 請求項７の画像処理装置は、超解像合成手段によって、本撮影動作の直前に撮影したスルー画像を基準スルー画像とし、基準スルー画像に対して本撮影動作の前に撮影した他のスルー画像を超解像合成するようにしたものである。
（８） 請求項８の画像処理装置は、制御手段によって、スルー画撮影動作において予め設定された枚数のスルー画像が撮影されたら本撮影動作を許可するようにしたものである。
（９） 請求項９の画像処理装置は、超解像合成手段によって、本撮影動作の直後に撮影したスルー画像を基準スルー画像とし、この基準スルー画像に対して本撮影動作の後に撮影した他のスルー画像を超解像合成するようにしたものである。
（１０） 請求項１０の画像処理装置は、撮像素子に被写体像を結像するための撮影レンズと、撮影レンズを駆動して自動焦点調節を行う焦点調節手段とを備え、制御手段によって、焦点調節手段で撮影レンズの自動焦点調節を行い、撮影レンズの合焦状態においてスルー画撮影動作を実行するようにしたものである。
（１１） 請求項１１の画像処理装置は、超解像合成手段によって、撮影レンズの合焦状態が達成された後に最初に撮影したスルー画像を基準スルー画像とし、基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に対して撮影レンズの合焦状態において撮影した他のスルー画像を超解像合成するようにしたものである。
（１２） 請求項１２の画像処理装置は、制御手段によって、超解像合成手段で超解像合成結果のスルー画合成画像が得られたら本撮影動作を許可するようにしたものである。
（１３） 請求項１３の画像処理装置は、制御手段によって、レリーズボタンの半押し操作があると、撮影レンズの自動焦点調節とスルー画撮影動作を実行するとともに、基準スルー画像の後に撮影されるスルー画像が入力されるたびに、順次、超解像合成処理を行うように超解像合成手段を制御し、レリーズボタンが解放されると、超解像合成処理を停止するように前記超解像合成手段を制御する。
（１４） 請求項１４の画像処理装置は、被写体認識手段によって、超解像合成手段で超解像合成に用いるスルー画像から被写体認識を行い、その認識結果を用いて超解像合成結果のスルー画合成画像の被写体認識処理を行うようにしたものである。
（１５） 請求項１５の画像処理装置は、被写体認識手段によって、超解像合成手段で超解像合成に用いる基準スルー画像から被写体認識を行うようにしたものである。
（１６） 請求項１６の画像処理装置は、被写体認識手段によって、超解像合成手段で超解像合成時の位置合わせ情報に基づいて、被写体認識結果の位置データをスルー画合成画像における位置データに変換するようにしたものである。

本発明によれば、被写体が暗い場合でも解像度の高い明るい画像を得ることができる。

本願発明の画像処理装置を撮像装置に適用した一実施の形態を説明する。なお、本願発明の画像処理装置は一実施の形態の撮像装置に限定されず、あらゆる装置に適用することができる。

図１は一実施の形態の画像処理装置を備えた撮像装置の構成を示す。撮像素子１は静止画像の単写撮影と連写撮影、さらに動画像の撮影が可能な撮像素子であり、撮影レンズ２により受光面上に結像された被写体像を撮影して映像信号を出力する。この撮像素子１にはＣＣＤやＣＭＯＳなどの撮像素子を用いることができ、電荷蓄積時間を制御して電子シャッター動作を行うことができる。撮影レンズ２は複数枚のレンズから構成され、レンズ駆動回路３によりフォーカシングとズーミングが可能である。測光回路４は被写体を測光し、測光データを出力する。操作部材５は、図示しないレリーズボタン（シャッターボタン）、ズームボタン、コマンドダイヤルなどの各種操作ボタンや設定ボタンを備えている。

撮像素子駆動回路６は被写体の測光データに基づいて撮像素子１を駆動する。信号処理回路７は撮像素子１から出力される映像信号に対して直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換などの処理を施し、画像データを生成してデータ処理回路８へ出力する。データ処理回路８は画像データに対して必要に応じてモニター９に表示するための解像度（画素数）変換処理を施し、圧縮／復号（伸張）回路１０および表示制御回路１１へ出力する。表示制御回路１１は画像データに所定の信号処理を施し、モニター９に画像を表示する。表示制御回路１１はまた、画像データに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、モニター９の被写体像にオーバーレイ画像が重畳表示される。

圧縮／復号回路１０は画像データに対して圧縮処理を施し、記録媒体１２に記録する。モニター９には記録媒体１２に圧縮して記録した画像データに対応する画像を表示する。なお、モニター９は記録媒体１２に記録されている画像データに対応する画像を再生画像として表示することもできる。モニター９にはＬＣＤを始め、画像や文字が表示可能なあらゆる形式の表示器を用いることができる。また、記録媒体１２には各種ハードディスクや各種メモリカードはもちろん、画像や文字を記録可能なあらゆる形式の記録装置を用いることができる。

制御回路１３は操作部材５からの操作信号や測光回路４からの測光データなどを入力し、レンズ駆動回路３、撮像素子駆動回路６、信号処理回路７、データ処理回路８、モニター９、圧縮／復号回路１０、表示制御回路１１、記録媒体１２を制御する。制御回路１３は、記録媒体１２に記録された画像データを読み出して圧縮／復号回路１０で復号化処理を施し、データ処理回路８、表示制御回路１１を介してモニター９へ出力する。

制御回路１３はまた、操作部材５の操作信号に基づいて撮像画面上に設定された焦点検出領域の画像データを抽出し、その領域のコントラスト値、またはその領域の高空間周波数成分量を算出し、算出結果に基づいて撮像素子受光面上の被写体像のフォーカス状態を調節する、いわゆるコントラストＡＦ動作を行う。つまり、レンズ駆動回路３により撮影レンズ２を駆動し、焦点検出領域における被写体に撮影レンズ２を合焦させる。

制御回路１３はさらに、レンズ駆動回路３により撮影レンズ２を駆動し、順次得られる映像信号または画像データを画面内の各被写体ごとに解析し、領域内のコントラスト値が最大となったときのレンズ位置をもとに、各被写体ごとの相対的な撮影距離情報を取得する。なお、このようなコントラストＡＦに代えて、公知の瞳分割方式の位相差ＡＦによりレンズ駆動を行ってもよい。この場合にも、自動合焦動作によって各領域の撮影距離情報を得ることができる。

制御回路１３は、操作部材５のズームボタンの操作に基づいてレンズ駆動回路３により撮影レンズ２を駆動し、撮像素子受光面上に結像される被写体像を拡大または縮小する光学的なズーム動作を行う。また、制御回路１３は、操作部材５のズームボタンの操作に応じてデータ処理回路８の解像度変換機能を制御し、撮像素子１で撮影した撮像画像データもしくは記録媒体１２に記録されている記録画像データを拡大または縮小し、電気的なズーミングを行う。

次に、一実施の形態の撮像装置における本撮影動作とスルー画撮影動作について説明する。なお、スルー画撮影は本撮影に先立って行われる予備的な撮影であるが、例えばデジタルスチルカメラでは、モニターにスルー画像を表示して画角を決め、主要被写体に対して撮影レンズの焦点調節を行うとともに被写界の測光を行い、シャッターレリーズ操作があると本撮影を行って高解像度の静止画像を得ている。

スルー画撮影動作は、操作部材５のレリーズボタンが半押し（第１ストロークまでの押圧操作）されている間、撮影レンズ１の自動合焦動作とともに実行される。レリーズボタンが半押しされると、制御回路１３は撮像素子駆動回路６を制御して撮像素子１によるスルー画撮影動作を実行する。撮像素子１は、スルー画撮影動作のための駆動信号を受信すると、高感度化を実現するために受光面上の近傍の同色画素（単板カラーの撮像素子の場合）の蓄積電荷を加算し、高解像度の本撮影に比べて低解像度の映像信号を例えば３０フレーム／秒の高フレームレートで連続的に出力する。

撮像素子１から出力される映像信号は、信号処理回路７とデータ処理回路８でそれぞれ所定の処理が施された後、表示制御回路１１を介してモニター９に供給され、モニター９に表示される。なお、ここでは撮像素子１上の近傍の同色画素の蓄積電荷を加算して読み出す例を示すが、所定の規則にしたがって画素の間引き読み出しを行ってもよい。撮影者は、モニター９に表示された映像により本撮影で撮影しようとしている被写界の状態を視認することができる。

なお、主要被写体に対する自動合焦動作はレリーズボタンの半押し操作により実行され、撮像素子１から出力される映像信号の内の所定領域（焦点検出領域）の映像信号のコントラストが最大になるように撮影レンズ２の焦点調節を行う。焦点調節の結果、合焦が達成されると、モニター９のＡＦ表示灯を赤色から緑色に切り換え、撮影者に対して撮影レンズ２が主要被写体に合焦したことを知らせる。

スルー画撮影動作中にレリーズボタンが全押し（上記第１ストロークよりも大きい第２ストロークまでの押圧操作）されると、本撮影動作を実行する。制御回路１３は、撮像素子駆動回路６を制御して撮像素子１による本撮影動作を実行する。撮像素子１は、本撮影動作のための駆動信号を受信すると、受光面上の各画素の蓄積電荷をそのまま別々に出力する。したがって、本撮影動作では、上述したスルー画撮影動作に比較して高解像度の映像信号が撮像素子１から出力される。

撮像素子１から出力された映像信号は、信号処理回路７とデータ処理回路８でそれぞれ所定の処理が施された後、表示制御回路１１を介してモニター９に供給され、モニター９に表示されるとともに、圧縮／復号回路１０を介して記録媒体１２に記録される。

一実施の形態の撮像装置は、上述した通常のスルー画撮影動作と静止画像の本撮影動作に加え、超解像合成動作を実行する。超解像合成動作では、撮影レンズ１の合焦後に取得した複数のスルー画像の位置合わせ処理を１画素未満の精度で行い、これらのスルー画像を合成して本撮影と同じ画素解像度のスルー画合成画像を生成し、さらにこのスルー画合成画像と本撮影により取得した本撮影画像とを合成する。

なお、この一実施の形態では、超解像動作を実行する超解像モードが設定されると、撮影モードにシャッター優先モードを自動的に設定し、測光回路４の測光結果によって長いシャッター速度が設定されて手ブレや被写体移動によるブレが発生するのを防止する。

単板撮像素子を例に上げて超解像合成動作を説明する。近年、撮像素子の高解像度化と平行して高感度化を図るために、撮像素子の画素開口率を大きくする傾向がある。この結果、画素開口と画素開口との間の隙間がますます狭くなってきている。固体撮像素子による撮影動作は実社会の空間的サンプリングに相当し、撮像素子の画素開口は、この空間的サンプリングが一定領域の光量の積分によってなされることを示している。すなわち、この場合の空間的サンプリングはその積分によって周波数特性が劣化している。

ここで、１回目の撮影時の撮像素子の画素と画素との間に、２回目の撮影時の画素が位置するように撮像素子の位置をずらして撮影を行い、取得した複数の画像を合成して超解像合成処理を行う撮像装置が知られている。しかし、このような超解像合成を行っても、単に画素数が上がるだけで解像度の向上はあまり期待できない。これは、画素開口を大きくして画素開口と画素開口との隙間を狭くすると、１回目の撮影時の画素開口と２回目の撮影時の画素開口とがオーバーラップする、つまり空間的サンプリング位置がオーバーラップするからである。このようなオーバーラップが発生すると、１回目の撮影時の画素開口と２回目の撮影時の画素開口とを正確に分離できなくなり、解像度を向上させることはできない。

そこで、一実施の形態の撮像装置では、複数のスルー画像を超解像合成し、本撮影により得られる画素数と同じ画素数のスルー画合成画像を生成し、このスルー画合成画像を本撮影画像と合成する。

例えば明るさの暗い移動被写体を撮影する場合には、本撮影においてシャッター速度を速くしないとぶれた画像になる。しかし、上述したように、スルー画撮影動作において複数のスルー画を超解像合成してスルー画合成画像を生成し、このスルー画合成画像の高周波成分を再現するために本撮影画像を加算して合成すれば、ぶれのない明るい画像を生成することができる。特に上述したように、スルー画撮影動作において、所定の規則にしたがって画素の間引き読み出しを行う構成とすれば、スルー画像の画素数は本撮影画像の画素数に比べて少なく、スルー画像を本撮影画像と同じ画素数の画像に展開すると、画素開口と隣接する画素開口との隙間が広くなる。したがって、複数のスルー画を超解像合成しても画素開口どうしがオーバーラップするようなことはなく、さらに高解像度化が行える。

なお、スルー画を超解像合成せずに本撮影画像と合成しても、両画像の間で画素数に差がありすぎて画質が劣化する（画面上で明るさの段差ができる）可能性があり、適切な画像を生成することはできない。

図２は一実施の形態の撮像装置の超解像モード処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。操作部材５により超解像撮影モードが設定されると、制御回路１３はスルー画像撮影動作を開始するように各部を制御するとともに図２に示す処理を開始する。

ステップ１において撮影モードにシャッター速度優先モードを設定する。超解像撮影モードで撮影を行う場合にはシャッター速度優先撮影モードを強制的に高速の電子シャッター速度に設定し、超解像合成に用いるスルー画像と本撮影による本撮影画像が手ブレや被写体移動によってぼけてしまうのを避ける。続くステップ２でレリーズボタンが半押しされたか否かを確認し、レリーズボタンが半押しされるとステップ３へ進む。ステップ３ではレンズ駆動回路３を制御してコントラストＡＦを行い、撮影レンズ２の焦点調節を行う。なお、レリーズボタンが半押しされている間、撮影レンズ２の焦点調節を行い、所定の焦点検出領域において合焦状態が検出されるとモニター９のＡＦ表示灯（不図示）を緑色に点灯して報知する。

ステップ４でレリーズボタンの半押しが継続されているか否かを確認し、半押しが中断された場合はステップ２へ戻り、上述した処理を繰り返す。半押しが継続されているときはステップ５へ進み、レンズ駆動回路３により撮影レンズ２を合焦状態に保持したまま、撮像素子駆動回路６により撮像素子１を駆動してスルー画撮影を繰り返し行い、撮像したスルー画をモニター９に表示しながらデータ処理回路８に内蔵するメモリ（不図示）に記録する。

ステップ６においてスルー画像を用いて被写体認識処理を行い、例えば被写界内に特定の「Ａさん」がいるか否かについて判断する。なお、被写体認識処理の対象は人に限定されず、人以外の物や色領域であってもよい。また、予め画像として登録されている特定被写体であってもよい。この被写体認識処理については詳細を後述する。

図３(ａ)は超解像モード処理の動作を示すタイミングチャートである。レリーズボタンの半押しにより自動焦点調節（ＡＦ）が行われ、撮影レンズ２の合焦状態を維持した状態でスルー画撮影が行われる。この一実施の形態ではスルー画の超解像合成を行うために１０枚のスルー画を撮影するものとする。撮影レンズ２の合焦状態を保ちながらスルー画撮影を繰り返し行っているときにレリーズボタンが全押しされると、１０枚（フレーム）のスルー画撮影が完了するまで待ち、１０枚のスルー画撮影が完了した後に本撮影を行う。

この一実施の形態では、複数のスルー画像を超解像合成してスルー画合成画像を生成するときの、位置合わせの基準となるスルー画像を、本撮影直前に撮影したスルー画像、すなわち図３(ａ)に示す例では１０枚目のスルー画像とする。本撮影直前に撮影したスルー画像を位置合わせの基準スルー画像とすることによって、基準スルー画像と本撮影画像との取得時刻差を最少とすることができるので、この間の手ブレや被写体移動による影響を最少にすることができ、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

なお、データ処理回路８の内蔵メモリにスルー画像を記憶する場合には、撮影された順に１０枚のスルー画像を書き込むが、１１枚目のスルー画像を書き込む前に１枚目のスルー画像を消去する。以後、最新のスルー画像を書き込む前に最も古いスルー画像を消去する。すなわち、所定の被写体に撮影レンズ２を合焦させた状態で、常に本撮影直前の最新の１０枚のスルー画像をデータ処理回路８の内蔵メモリに記憶する。

この一実施の形態では１０枚のスルー画像を記憶しておき、超解像合成に用いる例を示すが、超解像合成に用いるスルー画像の枚数は１０枚に限定されない。スルー画像の解像度（画素数）と本撮影画像の解像度（画素数）との差が大きいほど、超解像合成に用いるスルー画像の枚数を多くする必要がある。

図２に戻り超解像モード処理の説明を続ける。ステップ７でレリーズボタンの半押し操作が継続されているか否かを確認し、半押し操作が中断された場合はステップ８へ進み、スルー画撮影を終了するとともに、データ処理回路８の内蔵メモリに記憶したスルー画像を消去した後、ステップ２へ戻って上述した処理を繰り返す。

一方、レリーズボタンの半押し操作が継続されているときはステップ９へ進み、レリーズボタンが全押しされたか否かを確認する。レリーズボタンが全押しされていないときはステップ５へ戻り、上述した処理を繰り返す。レリーズボタンが全押しされているときはステップ１０へ進み、スルー画像を所定枚数、この一実施の形態では１０枚撮影したか否かを確認する。データ処理装置８のメモリに記憶されているスルー画像の枚数が１０枚未満の場合はステップ５へ戻り、上述した処理を繰り返す。

データ処理装置８のメモリに１０枚のスルー画像が記憶されている場合はステップ１１へ進み、撮像素子駆動回路６を制御して撮像素子１により本撮影を行い、データ処理回路８の内蔵メモリに記憶する。続くステップ１２においてデータ処理回路８のメモリに記憶されている１０枚のスルー画像を用いて超解像合成を行う。

図４は、複数のスルー画像を用いて超解像合成を行う際のスルー画像の選択方法を説明する図である。図において、×印は本撮影の直前に撮影されたスルー画像、すなわちこの一実施の形態では１０枚目のスルー画像の画素位置を表す。上述したように、この一実施の形態では、本撮影の直前に撮影された１０枚目のスルー画像を、複数のスルー画像の位置合わせをして超解像合成を行うときの基準スルー画像とする。この基準スルー画像の画素“×”の間の“□”、“△”、“○”の位置に他のスルー画像の画素が来るように複数のスルー画像を合成すれば、元のスルー画像の解像度（画素数）の４倍の解像度（画素数）のスルー画合成画像を生成することができる。この明細書では、これらの“□”、“△”、“○”の画素位置を超解像合成を行う場合の“理想画素位置”と呼ぶ。

スルー画撮影において取得した１０枚のスルー画像の内の基準スルー画像を除く９枚の中から、超解像合成の理想画素位置“□”、“△”、“○”に画素が来るスルー画像を３枚選び、基準スルー画像と合成すれば元のスルー画像よりも解像度の高いスルー画合成画像が得られる。ところが、基準スルー画像を除く９枚のスルー画像の中に、理想画素位置に画素が来るスルー画像が存在することは少ない。そこで、基準画像を除く９枚のスルー画像の中から、理想画素位置に最も近い画素のスルー画像を３枚選び、補間演算処理により理想位置のスルー画像データを算出してから超解像合成を行う。

もちろん、超解像画像の合成時間を短縮するために、理想画素位置に最も近い画素のスルー画像を選び、補間演算処理を行わずに理想画素位置にあるものとして超解像合成を行ってもよい。

理想画素位置に近いスルー画像と基準スルー画像とを合成する際には、スルー画像の連続撮影中の手ブレや被写体移動のために、スルー画像どうしを完全に重ね合わせることができず、互いにある程度ずらして重ね合わせる必要がある。このずらし量が大きいと画像合成したときの共通の画像領域が狭くなり、共通領域においては超解像画像が生成されるが、非共通領域では画像が合成されず超解像画像は生成されない。したがって、超解像合成においてスルー画像どうしをずらして重ね合わせるときに、ずらし量が大きいと超解像合成後のスルー画合成画像において画素解像度が増えない領域が大きくなる。そのため、上述した理想画素位置に最も近い画素位置のスルー画像を選ぶときに、超解像合成における合成領域の面積が広いこと、すなわち基準スルー画像と共通の画像領域が広いことを選択条件に加えてもよい。また、基準スルー画像に対するずらし量が少ないことを選択条件に加えてもよい。

なお、図４において、例えば理想画素位置“□”に最も近いスルー画像が、基準スルー画像（画素位置“×”）に対しての上記ずらし量が大きく、基準スルー画像と共通でない画像領域において“□”位置の画素が欠落した場合には、当該画像領域においては残りの“×”、“△”、“○”の画素データから補間演算などによって算出する構成としてもよい。このような現象は特に画像の端部で発生する。

また、撮影時の撮影条件、すなわちシャッター速度、絞り値、焦点距離、画像信号の増幅率、ホワイトバランス、ガンマ値などが異なると、超解像合成に適さないスルー画像になるおそれがある。したがって、これらの撮影条件が変更される可能性がある場合には、撮影条件が同一であることを条件に基準スルー画像と合成するスルー画像を選択するようにしてもよい。あるいは、超解像画像処理において、自動焦点調節により合焦状態が達成された後はスルー画像の撮影条件の変更を禁止するようにしてもよい。

図２のステップ１２において、複数のスルー画像を用いて超解像合成によりスルー画合成画像を生成した後、ステップ１３でスルー画合成画像と本撮影画像とを合成し、記録媒体１２に記録するとともにモニター９に表示する。

ここで、スルー画合成画像と本撮影画像との合成画像を記録媒体１２に記録するか否かを撮影者に確認するためのダイアログをモニター９に表示し、記録が選択された場合にのみ記録媒体１２に記録するようにしてもよい。スルー画合成画像と本撮影画像との合成画像を記録しない場合には、本撮影画像を記録媒体１２に自動的に記録するか、あるいは、本撮影画像を記録するか否かを撮影者に確認するためのダイアログをモニター９に表示し、記録が選択された場合にのみ記録媒体１２に本撮影画像を記録するようにしてもよい。

なお、スルー画合成画像と本撮影画像との合成処理が終了するまでは、本撮影により撮影した画像をモニター９に表示するとともに、超解像合成中であることを示すアイコンなどを本撮影画像に重畳して表示する。スルー画合成画像と本撮影画像との合成処理が終了したら、本撮影画像と上記アイコンの表示に代えて合成処理結果の画像をモニター９に表示する。

スルー画合成画像と本撮影画像との合成画像を記録媒体１２に記録する際には、超解像合成に用いたスルー画像データ、超解像合成後のスルー画合成画像データ、本撮影画像データ、超解像合成における位置ずれ補償量、合成に用いた各画像の撮影時刻および撮影時間、超解像合成に用いたスルー画像の数などを、必要に応じて関連づけて記録するようにしてもよい。例えばそれらを同一のフォルダーに記録したり、同一のファイル名で拡張子を変えて記録する。このような記録方法を採用することによって、撮影後の画像編集作業を簡便にすることができる。

《スルー画撮影中のモニター表示》
自動焦点調節（ＡＦ）による合焦達成後のスルー画撮影動作において撮影されたスルー画像を、動き補償することなく順次重畳してモニター９に表示するようにしてもよい。これにより、スルー画撮影中に上述した画面端の基準スルー画像と共通でない画像領域を把握することができる。撮影者は、モニター表示を見て画面端のスルー画合成画像が得られない領域が大きいと判断した場合には、直ちにレリーズボタンの半押しを解除することによって、それまでに撮影してメモリに記憶したスルー画を消去することができる。

《超解像合成に用いるスルー画像の選択方法の変形例》
上述した一実施の形態ではレリーズボタン全押し後の本撮影直前に撮影されたスルー画像を超解像合成の基準スルー画像とする例を示したが、自動焦点調節（ＡＦ）による合焦後の最初に得られたスルー画像を基準スルー画像としてもよい。この場合、基準スルー画像撮影以降にスルー画像を撮影するたびに、基準スルー画像の理想画素位置に最も近い画素のスルー画像で、かつ基準スルー画像と共通の画像領域が広いスルー画像か否か、すなわち超解像合成に用いることができる最適なスルー画像か否かを判定することができ、超解像合成に用いることができると判定されたスルー画像に対しては直ちに位置合わせ処理と合成処理を開始することができる。

具体的には、自動焦点調節（ＡＦ）による合焦後の最初に得られたスルー画像を基準スルー画像とし、基準スルー画像以降に撮影されたスルー画像の画素位置が、上述した基準スルー画像の理想画素位置から例えば１／８画素ピッチ未満か否かを判定し、この画素位置のずれが１／８画素ピッチ未満の場合にはそのスルー画像を超解像合成に用いるものとする。このとき、超解像合成に用いるスルー画像の取得状況を、プログレスバーなどによりモニター９に表示することによって、撮影者が撮影の進捗状況を容易に把握することができる。

また、図３(ｂ)に示すように、このようなスルー画像撮影中にレリーズボタンが全押しされた場合には、超解像合成に使用できるスルー画像が必要枚数得られた時点でスルー画撮影を停止し、直ちに本撮影動作を実行することもできる。つまり、超解像合成結果のスルー画合成画像が得られたら本撮影動作を許可することによって、解像度の高い明るい画像を確実に撮影することができる。

さらに、自動焦点調節（ＡＦ）による合焦達成後、レリーズボタンの全押し操作があったら、所定枚数のスルー画撮影の後に本撮影を行い、スルー画像の超解像合成と、そのスルー画合成画像と本撮影画像との合成までを自動的に行うようにしてもよい。なお、この場合には、合焦達成後の最初のスルー画像を基準画像としてもよいし、本撮影直前のスルー画像を基準画像としてもよい。

さらにまた、レリーズボタンの半押し操作があると、合成達成後の最初のスルー画像を基準スルー画像とし、撮影レンズの自動焦点調節とスルー画撮影動作を実行するとともに超解像合成を連続して行い、レリーズボタンが解放されると、超解像合成を停止するようにしてもよい。

《超解像合成に用いるスルー画像の選択方法の他の変形例》
上述した一実施の形態では、超解像合成に用いるスルー画像を本撮影前に取得する例を示したが、本撮影後に取得するようにしてもよい。具体的には、図３(ｃ)に示すように、自動焦点調節（ＡＦ）による合焦達成後、レリーズボタンの全押し操作により本撮影動作を実行し、本撮影画像をデータ処理装置８のメモリに一時的に記憶する。本撮影動作後、直ちに超解像合成に用いるスルー画像の撮影を開始する。そして、本撮影後の最初に撮影したスルー画像を基準スルー画像とし、この基準スルー画像以降に撮影されたスルー画像の画素位置が、上述した基準スルー画像の理想画素位置から例えば１／８画素ピッチ未満か否かを判定し、この画素位置のずれが１／８画素ピッチ未満の場合にはそのスルー画像を超解像合成に用いるものとする。

基準スルー画像の画素位置周囲のすべての理想画像位置において、１／８画素ピッチ未満の画素を有するスルー画像を取得した時点でスルー画像の撮影を終了し、基準スルー画像と選択したスルー画像を用いて超解像合成によりスルー画合成画像を生成し、さらにこのスルー画合成画像と本撮影画像とを合成する画像処理を実行する。

なお、このような本撮影後にスルー画撮影を行う場合には、レリーズボタンの全押し操作が継続されている間のみ、本撮影に続くスルー画撮影を行うようにしてもよい。スルー画像の撮影途中でレリーズボタンの全押しが解除された場合には、超解像合成を含む一連の画像処理を実行せず、撮影してデータ処理回路８のメモリに一時的に記憶した本撮影画像とスルー画像を消去してもよい。あるいは、超解像モードが設定されている場合には、レリーズボタン全押しによる本撮影後に、レリーズボタンの全押しが継続されていなくても自動的にスルー画撮影を実行するようにしてもよい。

このように、本撮影後に超解像合成に用いるスルー画像を撮影することによって、本撮影に最も近い時間に撮影されたスルー画像を超解像合成における基準スルー画像とするので、レリーズボタン全押し時点に近い超解像合成画像を得ることができる。また、スルー画撮影動作に並行してスルー画像の選択と超解像合成とを実行するので、基準スルー画像データ、超解像合成の過程の合成画像データを記憶するメモリがあればよく、メモリ容量を低減することができる。

上述した一実施の形態では超解像合成に用いるスルー画像を選択する際に、理想画素位置に最も近い画素のスルー画像か否かを、画面全範囲の理想画素位置について確認する例を示したが、予め設定した撮影画面の一部領域において上記の確認処理を実行するようにしてもよい。なお、例えば公知の顔認識技術を用いて画像中から人の顔領域を抽出し、この人の顔領域において理想画素位置に最も近い画素のスルー画像か否か確認するようにしてもよい。また、一般的な画像処理では画像の上から下へ順に処理を行うので、画像の上部領域において理想画素位置に最も近い画素のスルー画像か否か確認するようにしてもよい。これらの手法により、スルー画像の選択処理時間を短縮することができる。

《被写体認識処理》
次に、超解像合成画像における被写体認識について説明する。撮像画像中に含まれるある被写体に注目し、撮像画像の中からその被写体を抽出してその被写体に応じた画像処理を施すことが知られている。例えば、照明の発光動作にともなう赤目状態を撮像画像から検出し、その領域に対し後処理によって赤目状態を軽減することが行われている。

ところで、超解像合成画像に基づいて被写体認識処理を行うと、撮影から記録までの一連の処理に膨大な時間を要し、場合によっては以後の撮影動作の妨げになってしまう。そこで、この一実施の形態では超解像合成画像を用いて被写体認識処理を行わず、超解像合成に使用する１枚の画像を用いて被写体認識処理を行う。

ここでは、例えば、上述した本撮影前後に撮影される超解像合成のためのスルー画像において人の顔を検出し、赤目現象が発生している場合には後処理によって赤目現象を軽減する処理について説明する。なお、被写体認識処理は、人の顔領域を検出するだけでなく、他の多くの部位、例えば人の上半身、手、全身などを検出することができる。また、上述したように、被写体認識処理の対象は人に限定されず、人以外の物や特定の色領域であってもよい。また、予め画像として登録されている特定被写体であってもよい。

人の顔領域の検出は、自動合焦動作後のスルー画像を用いて肌色領域抽出、輪郭抽出（テンプレートマッチング）、または必要に応じて撮像画像中の温度分布データを併用して行われる。人の顔領域を検出したら、顔領域の中の画像データの色レベルや輪郭情報を用いてスルー画像の中から人の目の領域を特定することができる。検出した画像中の目の位置データを、検出に用いたスルー画像と超解像合成時の位置合わせ情報（動き補償情報）とに基づいて超解像合成画像、すなわちスルー画合成画像における位置データに変換し、必要に応じてスルー画合成画像（超解像合成画像）データとともに記録媒体１２に記録する。

なお、超解像合成に用いる基準スルー画像を用いて被写体認識を行うようにすれば、超解像合成結果のスルー画合成画像おける正確な被写体認識結果を得ることができる。

制御回路１３は、スルー画合成画像（超解像合成画像）中の目の領域の位置データに基づいて、目の領域の画像データに赤色成分が所定レベル以上含まれているか否かを判定し、所定レベル以上の赤色成分が含まれていると判定された場合には、赤色レベルの低減処理を施して赤目現象を除去する。

このように、超解像合成に用いる画素解像度の低いスルー画像において被写体を認識し、その認識結果に基づいて画素解像度の高いスルー画合成画像（超解像合成画像）を処理するようにしたので、超解像合成画像における被写体認識に要する時間を短縮することができる。また、超解像合成時の位置合わせ情報（動き補償情報）を補正（変換）してスルー画合成画像（超解像合成画像）中の被写体に関する位置情報を得るようにしたので、認識する被写体領域が小さい場合でも、画素解像度の高い画像中で迅速に被写体領域を検出できる。

なお、赤目現象の低減処理は、スルー画合成画像（超解像合成画像）データの記録前に行ってもよいし、記録媒体１２に記録した超解像合成画像を再生して行ってもよい。あるいは、パソコンなどの外部の画像処理装置で赤目現象の低減処理を行ってもよい。また、上記の赤目現象の低減処理はスルー画合成画像と本撮影画像との合成画像に対して行うものであってもよい。

一実施の形態によれば、被写体像を撮像して画像信号を出力する撮像素子と、撮像素子の画素解像度により撮影を行う本撮影動作と、撮像素子を用いて本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行する制御回路とを備えた画像処理装置において、スルー画撮影動作により撮影した複数のスルー画像を超解像合成し、本撮影動作による画素解像度と同じ画素解像度のスルー画合成画像を生成するとともに、スルー画合成画像と本撮影動作による本撮影画像とを合成するようにしたので、被写体が暗い場合でも解像度の高い明るい画像を得ることができる。

一実施の形態によれば、スルー画撮影動作により撮影した複数のスルー画像の中から、本撮影動作による本撮影画像の取得時刻に最も近い時刻に取得したスルー画像を基準スルー画像とし、基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に他のスルー画像を超解像合成するようにしたので、基準スルー画像と本撮影画像との取得時刻差を最少とすることができる。そのため、この間の手ブレや被写体移動による影響を最少限に抑制でき、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

一実施の形態によれば、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、基準スルー画像と共通の画像領域が広いスルー画像を選択するようにしたので、超解像合成後のスルー画合成画像において画素解像度の高い超解像画像の領域が広くなり、最終的に解像度の高い明るい画像を得ることができる。

一実施の形態によれば、複数のスルー画像の中から基準スルー画像に超解像合成するスルー画像を選択するときに、予め設定した撮影画面の一部の領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、被写体認識手法により撮影画像の中から人の顔領域を検出し、撮影画像の中の人の顔領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにしたので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる上に、人物撮影において人の顔を明るく鮮明に撮影することができる。

一実施の形態によれば、撮影画面の上部領域において基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うようにした。一般的な画像処理においては画像の上から下へ順に処理を行うので、基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、本撮影動作の直前に撮影したスルー画像を基準スルー画像とし、基準スルー画像に対して本撮影動作の前に撮影した他のスルー画像を超解像合成するようにしたので、基準スルー画像と本撮影画像との取得時刻差が最少となり、この間の手ブレや被写体移動による影響を最少限に抑制でき、最少量の動き補償によりスルー画合成画像と本撮影画像との位置合わせを実行できる。

一実施の形態によれば、スルー画撮影動作において予め設定された枚数のスルー画像が撮影されたら本撮影動作を許可するようにしたので、超解像合成を行う際に基準スルー画像の画素周辺の理想画素位置に画素が来るスルー画像を選択できる確率が高くなり、超解像合成により解像度の高いスルー画合成画像を生成でき、最終的に解像度の高い明るい画像を得ることができる。

一実施の形態によれば、本撮影動作の直後に撮影したスルー画像を基準スルー画像とし、基準スルー画像に対して本撮影動作の後に撮影した他のスルー画像を超解像合成するようにした。本撮影に最も近い時間に撮影されたスルー画像を超解像合成における基準スルー画像とするので、レリーズボタン全押し時点に近い超解像合成画像を得ることができる。また、スルー画撮影動作に並行してスルー画像の選択と超解像合成とを実行するので、基準スルー画像を記憶するメモリがあればよく、メモリ容量を低減することができる。

一実施の形態によれば、撮像素子に被写体像を結像するための撮影レンズと、撮影レンズを駆動して自動焦点調節を行うレンズ駆動回路とを備え、撮影レンズの自動焦点調節を行い、撮影レンズの合焦状態においてスルー画撮影動作を実行するようにしたので、被写体にピントの合ったスルー画像を用いて超解像合成を行うことができ、最終的に被写体にピントの合った解像度の高い明るい画像を得ることができる。

一実施の形態によれば、撮影レンズの合焦状態が達成された後に最初に撮影したスルー画像を基準スルー画像とし、基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、基準スルー画像に対して撮影レンズの合焦状態において撮影した他のスルー画像を超解像合成するようにした。これにより、基準スルー画像撮影以降にスルー画像を撮影するたびに、基準スルー画像の理想画素位置に最も近い画素のスルー画像で、かつ基準スルー画像と共通の画像領域が広いスルー画像か否か、すなわち超解像合成に用いることができる最適なスルー画像か否かを判定することができ、超解像合成に用いることができると判定されたスルー画像に対しては直ちに位置合わせ処理と合成処理を開始することができる。したがって、超解像合成結果のスルー画合成画像をすばやく得ることができ、解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、超解像合成結果のスルー画合成画像が得られたら本撮影動作を許可するようにしたので、解像度の高い明るい画像を確実に撮影することができる。

一実施の形態によれば、レリーズボタンの半押し操作があると、撮影レンズの自動焦点調節とスルー画撮影動作を実行するとともに超解像合成を行い、レリーズボタンが解放されると超解像合成を停止するようにしたので、レリーズボタンの半押しによりスルー画像の超解像合成を操作することができ、操作性を向上させることができる。

一実施の形態によれば、超解像合成に用いるスルー画像から被写体認識を行い、その認識結果を用いて超解像合成結果のスルー画合成画像の被写体認識処理を行うようにしたので、超解像合成画像における被写体認識に要する時間を短縮することができる。その結果、さらに基準スルー画像に対して超解像合成するスルー画像の選択処理時間を短縮することができ、シャッターチャンスを逃すことなく解像度の高い明るい画像を撮影することができる。

一実施の形態によれば、超解像合成に用いる基準スルー画像から被写体認識を行うようにしたので、超解像合成結果のスルー画合成画像おける正確な被写体認識結果を得ることができる。

一実施の形態によれば、超解像合成時の位置合わせ情報に基づいて、被写体認識結果の位置データをスルー画合成画像における位置データに変換するようにしたので、認識する被写体領域が小さい場合でも画素解像度の高い画像中で迅速に被写体領域を検出することができる。

一実施の形態の画像処理装置を備えた撮像装置の構成を示す図である。 一実施の形態の撮像装置の超解像モード処理を示すフローチャートである。 一実施の形態の撮像装置の超解像モード処理を示すタイミングチャートである。 スルー画像を用いて超解像合成を行う処理の説明図である。

符号の説明

１ 撮像素子
２ 撮影レンズ
３ レンズ駆動回路
４ 測光回路
５ 操作部材
６ 撮像素子駆動回路
７ 信号処理回路
８ データ処理回路
９ モニター
１０ 圧縮／復号回路
１１ 表示制御回路
１２ 記録媒体
１３ 制御回路

Claims (16)

1. 被写体像を撮像して画像信号を出力する撮像素子と、
   前記撮像素子の画素解像度により撮影を行う本撮影動作と、前記撮像素子を用いて前記本撮影動作よりも画素解像度の低い撮影を行うスルー画撮影動作とを実行する制御手段とを備えた画像処理装置において、
   前記スルー画撮影動作により撮影した複数のスルー画像を超解像合成し、前記本撮影動作による画素解像度と同じ画素解像度のスルー画合成画像を生成する超解像合成手段と、
   前記スルー画合成画像と前記本撮影動作による本撮影画像とを合成する通常合成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記超解像合成手段は、前記スルー画撮影動作により撮影した複数のスルー画像の中から、前記本撮影動作による本撮影画像の取得時刻に最も近い時刻に取得したスルー画像を基準スルー画像とし、前記基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、前記基準スルー画像に他のスルー画像を超解像合成することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記超解像合成手段は、複数のスルー画像の中から前記基準スルー画像に超解像合成するスルー画像を選択するときに、前記基準スルー画像と共通の画像領域が広いスルー画像を選択することを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記超解像合成手段は、複数のスルー画像の中から前記基準スルー画像に超解像合成するスルー画像を選択するときに、予め設定した撮影画面の一部の領域において前記基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   撮影画像の中から人の顔領域を検出する被写体認識手段を備え、
   前記超解像合成手段は、撮影画像の中の人の顔領域において前記基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うことを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置において、
   前記超解像合成手段は、撮影画面の上部領域において前記基準スルー画像の画素と画素の間に他のスルー画像の画素が来るか否かを確認する処理を行うことを特徴とする画像処理装置。
7. 請求項２〜６のいずれか１項に記載の画像処理装置において、
   前記超解像合成手段は、前記本撮影動作の直前に撮影したスルー画像を前記基準スルー画像とし、前記基準スルー画像に対して前記本撮影動作の前に撮影した他のスルー画像を超解像合成することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記制御手段は、前記スルー画撮影動作において予め設定された枚数のスルー画像が撮影されたら前記本撮影動作を許可することを特徴とする画像処理装置。
9. 請求項２〜６のいずれか１項に記載の画像処理装置において、
   前記超解像合成手段は、前記本撮影動作の直後に撮影したスルー画像を前記基準スルー画像とし、前記基準スルー画像に対して前記本撮影動作の後に撮影した他のスルー画像を超解像合成することを特徴とする画像処理装置。
10. 請求項１に記載の画像処理装置において、
    前記撮像素子に被写体像を結像するための撮影レンズと、
    前記撮影レンズを駆動して自動焦点調節を行う焦点調節手段とを備え、
    前記制御手段は、前記焦点調節手段により前記撮影レンズの自動焦点調節を行い、前記撮影レンズの合焦状態において前記スルー画撮影動作を実行することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記超解像合成手段は、前記撮影レンズの合焦状態が達成された後に最初に撮影したスルー画像を基準スルー画像とし、前記基準スルー画像の画素と画素の間に他のスルー画像の画素が来るように、前記基準スルー画像に対して前記撮影レンズの合焦状態において撮影した他のスルー画像を超解像合成することを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記制御手段は、前記超解像合成手段により超解像合成結果のスルー画合成画像が得られたら前記本撮影動作を許可することを特徴とする画像処理装置。
13. 請求項１１に記載の画像処理装置において、
    前記制御手段は、レリーズボタンの半押し操作があると、前記撮影レンズの自動焦点調節と前記スルー画撮影動作を実行するとともに、前記基準スルー画像の後に撮影されるスルー画像が入力されるたびに、順次、前記超解像合成処理を行うように前記超解像合成手段を制御し、
    前記レリーズボタンが解放されると、前記超解像合成処理を停止するように前記超解像合成手段を制御することを特徴とする画像処理装置。
14. 請求項５に記載の画像処理装置において、
    前記被写体認識手段は、前記超解像合成手段による超解像合成に用いるスルー画像から被写体認識を行い、その認識結果を用いて超解像合成結果のスルー画合成画像の被写体認識処理を行うことを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、
    前記被写体認識手段は、前記超解像合成手段による超解像合成に用いる基準スルー画像から被写体認識を行うことを特徴とする画像処理装置。
16. 請求項１５に記載の画像処理装置において、
    前記被写体認識手段は、前記超解像合成手段による超解像合成時の位置合わせ情報に基づいて、被写体認識結果の位置データをスルー画合成画像における位置データに変換することを特徴とする画像処理装置。

Images