JP2010239514A - 撮像システム及び画像処理方法並びにプログラム - Google Patents

Abstract

【課題】画質の向上した本撮影画像を得ること。
【解決手段】被写体を撮像する撮像部２と、撮影者の撮影操作を検出する操作検出部３４と、撮影操作がされた場合に、本撮影を行うとともに、本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う撮影制御部２０と、事前撮影において取得された事前画像に関する情報を記憶するＳＤＲＡＭ４１と、該本撮影により取得された本撮影画像を事前画像を用いて補正する画像処理部２５とを具備する撮像システム１を提供する。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像システム及び画像処理方法並びにプログラムに関するものである。

カメラ等の静止画撮影は、撮影した瞬間の画像しか得られないため、情報状況によっては、露出や被写体の色が撮影者の狙い通りでない画像が取得されたり、取得された画像にノイズが多く含まれていたり、手ぶれや被写体ぶれによって画像にブレが生ずることがある。
これに対して、類似画像を用いて、本撮影時に取得された本撮影画像に対して画像処理を行い、画像を修正する方法が知られている（例えば、特許文献１参照）。
また、スルー画等の本撮影前表示に使用している撮影画像から得られた情報を用いて、本撮影画像に対して画像処理を行い、例えばホワイトバランスなどの被写体の色味等を修正する方法が知られている（例えば、特許文献２参照）。
また、複数の画像を同一の解像で撮影し、合成することによって、本撮影画像におけるノイズの低減や露出向上、ぶれの低減を行う技術が知られている。

特開２００６−３４４１６６号公報 特許第３９４３６１１号公報

しかしながら、特許文献１等に開示されている従来の技術では、必ずしも適切な画像を用いて本撮影画像の画像処理が行われるわけでなく、この結果、撮影者が所望する画質を満足する本撮影画像が得られない場合が懸念される。

本発明は、上記問題を解決するためになされたもので、画質の向上した本撮影画像を得ることのできる撮像システム及び画像処理方法並びにプログラムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、撮影光学系と、前記撮影光学系を介して被写体を撮像する撮像素子と、撮影者の撮影操作を検出する撮影操作検出手段と、前記撮影操作がされた場合に、本撮影を行う第１の撮影制御手段と、前記本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う第２の撮影制御手段と、前記事前撮影において取得された事前画像に関する情報を記憶する記憶手段と、該本撮影により取得された本撮影画像を前記事前画像を用いて補正する画像処理手段とを具備する撮像システムである。

このような構成によれば、本撮影とは異なる撮影条件で取得された事前画像を用いて、本撮影において取得された本撮影画像に対して画像処理を施すので、本撮影画像に含まれている画像情報とは異なる情報を持つ画像を用いて本撮影画像の画像処理を行うことが可能となる。これにより、本撮影画像には含まれていない新たな情報を用いて本撮影画像の画像処理を行うことが可能となり、画質の向上した本撮影画像を得ることが可能となる。
さらに、事前画像は本撮影において取得された画像とほぼ類似の被写体を撮影しているので、本撮影の補正のために、より適切な情報を得ることができる。

例えば、事前画像として本撮影画像よりも解像度の低い画像を使用することで、メモリ容量の低減、処理時間の短縮を図ることが可能となる。また低解像の画像は画像のエッジやテクスチャなどの構造が明快で解析しやすいため、ノイズ低減処理の際に画像のエッジやテクスチャに応じてノイズ低減処理を加減するときなどに、特別な解像変換処理を行うことなく、有効に活用可能である。また、複数画素を撮像素子内で加算した後、ゲインアップする処理を行うことによって作成されるような画像は、低解像だが、ノイズの少ない高感度画像となる。このようなノイズの少ない高感度画像を事前画像として用いることで、ノイズ低減処理をより効果的に行うことができる。

また、例えば、本撮影では、撮影の露光条件設定で失敗してしまったり、手振れを避けることを重視して露光不足になってしまったような場合であっても、事前画像として本撮影画像と露光条件の異なる画像を使用することで、画像の補正処理が可能となる。更に、輝度差がある被写体で本撮影だけでは一部が黒つぶれしてしまったり、飛んでしまうような画像であっても、露光条件の異なる事前画像を用いて補正することで、黒つぶれや白飛びした部分の階調や色を再現することができる。

また、例えば、本撮影では、画質を重視して、感度を下げ、長秒時の露光を行ったことにより被写体ブレや手振れが生じた場合であっても、事前画像として本撮影画像とシャッタ速度の異なる画像を使用することで、例えば、高感度、高いシャッタ速度で撮影した事前画像を用いて被写体ぶれや手振れの影響を補正することで、画像を改善することが可能となる。

本発明の第２の態様は、本撮影に先立ち、本撮影とは異なる解像で事前撮影を行い、該事前撮影で得られた画像を用いて本撮影において取得された画像を補正する撮像装置の画像処理方法である。

本発明の第３の態様は、画像処理を行うための画像処理プログラムであって、本撮影に先立って行われるとともに、該本撮影とは異なる解像度で行われた事前撮影において取得された画像を用いて、本撮影において取得された画像を補正する補正処理をコンピュータに実行させるための画像処理プログラムである。

本発明によれば、画質の向上した本撮影画像を得ることができるという効果を奏する。

本発明の第１の実施形態に係る撮像システムの概略構成を示したブロック図である。 パワーオンから本撮影画像の格納処理までのシーケンスフローの概略を示した図である。 本発明の第１の実施形態に係るスルー画像撮影表示処理及びスルー画像格納処理の処理手順を示したフローチャートである。 本発明の第１の実施形態に係る本撮影画像の画像処理の処理手順を示したフローチャートである。 本発明の第１の実施形態に係るスルー画像選択処理の処理手順を示したフローチャートである。 本発明の第１の実施形態に係るマッチング処理の処理手順を示したフローチャートである。 本発明の第２の実施形態に係る本撮影画像の画像処理の処理手順を示したフローチャートである。 本発明の第３の実施形態に係る本撮影画像の画像処理の処理手順を示したフローチャートである。

〔第１の実施形態〕
以下に、本発明の第１の実施形態に係る撮像システムについて、図面を参照して説明する。
図１は、本実施形態に係る撮像システムの概略構成を示したブロック図である。本実施形態に係る撮像システム１は、例えば、デジタルカメラであり、撮像部２と画像処理装置３とを備えている。撮像部２は、レンズ１０、シャッタ１１、ＣＣＤ１２、ＣＣＤ制御部１３、レンズ駆動部１４、及びストロボ１５を備えている。
レンズ１０には、ピント調節および焦点距離調節用の撮影レンズと、開口量を調節するための絞り１０ａが配置されている。この絞り１０ａの役割は、撮影制御部２０からの制御指令に基づいて、撮像面へ照射する光の明るさと深度を調整することであるが、深度調整の必要性の少ない廉価な撮像システムにおいては、明るさ調節の目的のために、例えば、光量調節のためのＮＤフィルタで代用することも可能である。

レンズ１０は、後述する撮影制御部２０の制御によりレンズ駆動部１４が作動することにより駆動される。これにより、撮影制御部２０からの制御指令に基づいて、ピント合わせ、ズーム駆動等が行われる。ストロボ１５は、撮影制御部２０の制御により、被写体に光を照射可能となっている。
レンズ１０の後方には、露光時間制御用のシャッタ１１が配置されている。このシャッタ１１は撮影制御部２０によって駆動制御される。
シャッタ１１はスルー画像撮影時には常に開いた状態とされる。このとき、ＣＣＤ１２の露光量制御はＣＣＤ１２の有する電子シャッタ機能を用いて実現される。また、いわゆる静止画（以下「スチル撮影」という。）撮影時にはシャッタ１１によりＣＣＤ１２への露光量が制御される。

シャッタ１１の後方には二次元撮像素子としてのＣＣＤ１２が配置されており、レンズ１０によって結像される被写体像を電気信号に光電変換する。なお、本実施形態では撮像素子としてＣＣＤを用いているが、これに限らずＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の二次元撮像素子を使用できることはいうまでもない。

ＣＣＤ制御部１３はＣＣＤインターフェイス２１に接続されている。ＣＣＤ制御部１３は、ＣＣＤインターフェイス２１を介して後述するシーケンスコントローラ（以下「ボディＣＰＵ」という。）からの制御信号を受信し、この制御信号に基づいてＣＣＤ１２の電源のオン・オフ制御等を行い、撮像のタイミングを調整し、光電変換信号の増幅（ゲイン調整）等を行う。

ＣＣＤ１２により取得されたアナログ信号の画像信号は、ＣＣＤインターフェイス２１によりデジタル信号に変換され、画像処理装置３に入力される。
画像処理装置３は、例えば、ＡＳＩＣであり、上述の撮影制御部（第１の撮影制御手段、第２の撮影制御手段）２０、ＣＣＤインターフェイス２１、ボディＣＰＵ２２、輝度算出部２３、ＡＦ演算部２４、画像処理部（画像処理手段）２５等を備えている。これら各部は、画像処理装置３内のデータバス３０を介して相互に接続されている。

ボディＣＰＵ２２は、撮像システム１が備える各部の制御を行う。
輝度算出部２３は、画像信号を所定の分割エリアごとに平均して、輝度信号に変換し、被写体の輝度分布情報を算出する。
ＡＦ演算部２４は、画像信号を所定の領域に分割し、領域毎にコントラスト情報を算出し、レンズ駆動部１４の制御と同期して、所定領域のコントラストが最大となるように、レンズ１０を駆動することにより、被写体に焦点を合わせる。

画像処理部２５は、撮像部２により取得された画像信号に対してＯＢ減算、色補正、階調変換、白黒・カラーモード処理、スルー画像処理といった各種の画像処理を行う。なお、この画像処理部２５により実現される処理の詳細については、後述する。

また、上記データバス３０には、上述した構成要素のほか、圧縮部３１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）制御部３２、フラッシュメモリ制御部３３、操作検出部（撮影操作検出手段）３４、記録媒体制御部３５、ビデオ信号出力部３６などが接続されている。

圧縮部３１は後述するＳＤＲＡＭ４１に記憶された画像データ等をＪＰＥＧで圧縮するためのブロックである。なお、画像圧縮はＪＰＥＧに限らず、他の圧縮方法も適用できる。フラッシュメモリ制御部３３は、フラッシュメモリ４２に接続されている。このフラッシュメモリ４２には、撮像システム１における各処理を制御するための画像処理プログラムが記憶されており、ボディＣＰＵ２２はこのフラッシュメモリ４２に記憶されたプログラムに従って各部の制御を行う。なお、フラッシュメモリ４２は、電気的に書換可能な不揮発性メモリである。ＳＤＲＡＭ４１は、ＳＤＲＡＭ制御部３２を介してデータバス３０に接続されている。ＳＤＲＡＭ４１は、画像処理部２５等によって画像処理された画像情報または圧縮部３１によって圧縮された画像情報を一時的に記憶するためのメモリである。

撮影制御部２０は、データバス３０を介してボディＣＰＵ２２等の各部と接続している。記録媒体制御部３５は、記録媒体４３に接続され、この記録媒体４３への画像データ等の記録の制御を行う。記録媒体４３は、ｘＤピクチャーカード（登録商標）、コンパクトフラッシュ（登録商標）、ＳＤメモリカード（登録商標）、メモリスティック（登録商標）またはハードディスクドライブ（ＨＤ）等の書換可能な記録媒体で構成され、撮像システム本体に対して着脱可能とされている。

ビデオ信号出力部３６は、表示モニタ制御部４５を介して表示モニタ（表示手段）４６に接続されている。ビデオ信号出力部３６は、ＳＤＲＡＭ４１または記録媒体４３に記憶された画像データを、表示モニタ４６に表示するためのビデオ信号に変換するための回路である。表示モニタ４６は、例えば、撮像システム本体の背面に配置されている液晶表示装置であるが、撮影者が観察できる位置であれば、背面に限らないし、また液晶に限らず他の表示装置でも構わない。

操作部４７は、撮像システム１の撮影指示を示すレリーズを検出するスイッチ（シャッターボタン）や、モードダイヤル、パワースイッチ、コントロールダイヤル、再生ボタン、メニューボタン、十字キー、ＯＫ釦等を含み、操作検出部３４を介してデータバス３０に接続されている。

次に、上記構成を備える撮像システム１の動作について図２乃至図５を参照して説明する。図２は、パワーオンから本撮影画像の格納処理までのシーケンスフローの概略を示した図である。
図２において、まず、撮影者によってデジタルカメラの電源がオンされると、スルー画を格納するメモリがクリアされる（ステップＳＡ１）。このメモリは、例えば、上述したＳＤＲＡＭ（記憶手段）４１である。続いて、撮影モード、ズーム等のユーザ設定情報が検出される（ステップＳＡ２）。ユーザ設定は、例えば、操作検出部３４（図１参照）により行われる。

続いて、スルー画像撮影のためのオートフォーカス（ステップＳＡ３）及び露光演算が行われる（ステップＳＡ４）。ここで、スルー画像の取得においては、フレームレートが優先され、解像度は小さく設定される。本実施形態では、スルー画像の感度は撮像素子の最低感度からＩＳＯ６４００相当の高感度までを設定可能とし、可能な限り高速なフレームレートに対応できるように露光量が決定される。これにより、本撮影時における設定モード、設定感度、設定シャッタ速度、設定絞りによっては、本撮影画像よりもスルー画像の方が露出連動範囲が広くなり、本撮影時においてアンダーやオーバーになる画像でも、スルー画像では適切な露出での撮影が可能となる。
また、高感度時には、複数画素を撮像素子内で加算した後、ゲインアップする処理を行うことで、低解像であるが画素加算による効果によりノイズの少ない画像を得ることができる。

続いて、スルー画像撮影表示処理及びスルー画像格納処理が行われる（ステップＳＡ５）。この処理についての詳細は後述する。
次に、シャッターボタンが半押しされているか否かが判定され（ステップＳＡ６）、半押しされていない場合には、カメラの主動作スイッチであるパワースイッチがオン状態であるかどうか確認し（ステップＳＡ１５）、パワースイッチがオン状態である場合には上記ステップＳＡ２に戻り、ステップＳＡ２以降の処理を繰り返し行う。また、パワースイッチがオフ状態の場合には終了処理（ステップＳＡ１６）を行い、カメラのシーケンスを終了する。一方、ステップＳＡ６にてシャッターボタンが半押しされている場合には、オートフォーカス（ステップＳＡ７）、露光演算（ステップＳＡ８）が行われ、その後、半押し状態が解除されたか否かが再度判定される（ステップＳＡ９）。

この結果、半押し状態が解除されていた場合には（ステップＳＡ９において「ＮＯ」）、ステップＳＡ１５を実施する。一方、半押し状態が継続していた場合には、全押しがされたか否かが判定される（ステップＳＡ１０）。この結果、シャッターボタンが全押しされておらず、未だ半押し状態が継続されている場合には（ステップＳＡ１０において「ＮＯ」）、スルー画像撮影表示処理及びスルー画像格納処理を行った後に（ステップＳＡ１１）、ステップＳＡ９に戻り、ステップＳＡ９以降の処理を繰り返し行う。

一方、ステップＳＡ１０において、シャッターボタンが全押しされたと判断された場合には（ステップＳＡ１０において「ＹＥＳ」）、本撮影処理が行われ（ステップＳＡ１２）、その後、本撮影において取得された本撮影画像に対して画像処理が施され（ステップＳＡ１３）、本撮影画像が記録され（ステップＳＡ１４）、撮影処理を終了し、続いて、カメラの主動作スイッチであるパワースイッチがオン状態であるか否かを確認し（ステップＳＡ１５）、パワースイッチがオン状態である場合には上記ＳＡ２に戻り、通常のループに戻る。

〔スルー画像撮影表示処理及びスルー画像格納処理〕
次に、上記ステップＳＡ５及びステップＳＡ１１において行われるスルー画像撮影表示処理及びスルー画像格納処理について図３を参照して説明する。図３は、スルー画像撮影表示処理及びスルー画像格納処理の処理手順を示したフローチャートである。

図３において、スルー画像撮影が行われると（ステップＳＢ１）、該スルー画像撮影において取得されたスルー画像に対して、ＯＢ減算、階調処理、γ変換、オートホワイトバランス処理等の公知の各種画像処理が施され、さらに、表示用の画像処理が施された後、この画像処理後のスルー画像が表示モニタ４６（図２参照）に表示される（ステップＳＢ２）。
次に、ステップＳＢ１におけるスルー画像撮影において取得された画像に対してメモリ格納用の画像処理が施される（ステップＳＢ３）。本実施形態では、スルー画像が格納されるが、メモリ節約のために目的によってはこのうち、輝度情報のみを抽出して格納してもよい。

続いて、該スルー画像を格納するメモリ、例えば、ＳＤＲＡＭ４１（図１参照）のメモリ容量が十分であるか否かが判断される（ステップＳＢ４）。この結果、メモリ格納用の画像処理が施されたスルー画像を保存するのに十分なメモリ容量が確保できる場合には（ステップＳＢ４において「ＹＥＳ」）、このスルー画像をメモリに記憶し（ステップＳＢ６）、当該処理を終了する。一方、該スルー画像を格納するのに十分なメモリ容量がない場合には、メモリに保存されている最も古いスルー画像を消去することでメモリ容量を確保した後に（ステップＳＢ５）、今回作成されたスルー画像をメモリに記憶し（ステップＳＢ６）、当該処理を終了する。

〔本撮影画像の画像処理〕
次に、図２のステップＳＡ１３において行われる本撮影画像の画像処理について図４を参照して説明する。ここでは、本撮影画像に対して行われる種々の画像処理のうち、特に、上述したスルー画像を用いて行われる画像処理について説明する。

まず、本撮影画像の画像処理で用いられるスルー画像の選択処理が行われる（図４のステップＳＣ１）。このスルー画像の選択処理についての詳細は、後述する。
次に、参照画像としてステップＳＣ１で選択したスルー画像を設定し（ステップＳＣ２）、参照画像と本撮影画像とを比較し（ステップＳＣ３）、本撮影画像の高画質化が可能か否かを判定する。例えば、本撮影画像が予め設定されている基準感度よりも低感度な場合、参照画像の輝度平均値が所定値以下の場合等には、高画質化が不可能であると判断する。

この結果、高画質化が不可能であると判断した場合には、処理を終了する。一方、高画質化が可能であると判断した場合には（ステップＳＣ４において「ＹＥＳ」）、参照画像の露光条件等が本撮影画像と略同等となるように、レベル補正や色変換処理等の画像処理が参照画像に対して施される（ステップＳＣ５）。
続いて、本撮影画像を複数のエリアに分割し、そのうちの一つのエリア（以下「選定エリア」という。）を選択する（ステップＳＣ６）。そして、選定エリアと参照画像とを比較し、選定エリアと類似するエリアを参照画像において特定する（ステップＳＣ７）。このとき、例えば、本撮影画像における選定エリアの輝度信号をもとに公知のブロックマッチング等の手法を用い、参照画像から類似のエリアを選択する。この場合において、参照画像と本撮影画像のサイズを一致させるように補正を行った上でエリアの選択を行うとよい。

続いて、参照画像において選択された類似のエリアの情報を用いて、本撮影画像における選定エリアのノイズ低減処理を行う（ステップＳＣ８）。具体的には、参照画像において選択されたエリア、本撮影画像の選定エリアのいずれかをリサイズすることにより、両者のエリアサイズを一致させた後、両エリアの低周波成分を抽出し、これらの低周波成分に重み付け演算した後、本撮影画像のサイズで本撮影画像の選定エリアの高周波成分と重み付け演算後の低周波成分とを合成することで、本撮影画像の選定エリアにおけるノイズ低減処理を行う。

続いて、本撮影画像において分割した全てのエリアについてノイズ低減処理を行ったか否かを判定し（ステップＳＣ９）、全てのエリアにおいてノイズ低減処理が終了していなかった場合には（ステップＳＣ９において「ＮＯ」）、未処理である他のエリアを選定し（ステップＳＣ１０）、上記ステップＳＣ７に戻り、以降の処理を行う。一方、全てのエリアにおいてノイズ低減処理が終了した場合には（ステップＳＣ９において「ＹＥＳ」）、ノイズ低減処理後の全てのエリアを重み付け合成し、最終的な本撮影画像を作成し（ステップＳＣ１１）、本処理を終了する。

〔スルー画選択処理〕
次に、図４を用いて説明した本撮影画像の画像処理のステップＳＣ１において行われるスルー画像選択処理について図５を参照して説明する。
まず、スルー画像と本撮影画像とを比較するとともに、本撮影画像の画像解析を行い、本撮影画像のノイズ低減処理に使用可能なスルー画像を抽出する（ステップＳＤ１）。例えば、メモリに格納されているスルー画像のうち、解像度及び感度の少なくともいずれか一つが本撮影画像と異なるスルー画像を抽出する。
次に、抽出した各スルー画像と本撮影画像とをマッチングし（ステップＳＤ２）、本撮影画像に最も類似するスルー画像を選択する（ステップＳＤ３）。

〔マッチング処理〕
上記図５のステップＳＤ２において行われるマッチング処理の詳細について、図６を参照して説明する。
まず、本撮影画像の中央部約５０％をスルー画像のサイズにリサイズした画像をテンプレート画像として設定し（ステップＳＥ１）、続いて、スルー画像上に比較初期位置を設定し（ステップＳＥ２）、設定した比較位置においてテンプレート画像とスルー画像との類似度を算出する（ステップＳＥ３）。類似度の算出は、例えば、それぞれ対応した位置の画素の画素値の差分を算出し、全ての差分の積算値を類似度として算出する。なお、類似度の算出方法については、上記算出方法に限定されることなく、例えば、各画像のヒストグラムを計算し、ヒストグラムの類似度を画像の類似度としてもよく、また、色情報も加味して類似度を求めることとしてもよい。

続いて、全検索領域にわたって類似度の算出が終了したか否かを判定し（ステップＳＥ４）、終了していなければ、比較位置を変更した後に（ステップＳＥ５）、ステップＳＥ３に戻り、上記類似度の算出を行う。
そして、全検索領域にわたって類似度の算出が終了すると（ステップＳＥ４において「ＹＥＳ」）、ステップＳＥ３において算出した各位置における類似度を評価し、最も値の高い類似度を当該スルー画像の類似度とするとともに（ステップＳＥ６）、類似度の最も高い位置を本撮影画像とスルー画像との位置合せ基準として設定し（ステップＳＥ７）、本処理を終了する。
そして、図６に示したマッチング処理を図５のステップＳＤ１において抽出された全てのスルー画像に対して行うことで、各スルー画像の類似度が算出され、図５のステップＳＤ３において最も類似度の高いスルー画像が選択されることとなる。

なお、上記例では、テンプレートマッチングにより類似度を算出しているが、本撮影時のシーンと同じシーンか否かを判断することができれば、公知の他の手法を用いてもよい。また、テンプレート画像を作成する際に、色情報を残し、色の類似度も加味することとしてもよい。また、探索領域や探索方法も上記方法に限られない。これは、例えば、公知のトラッキング等で使用される手法などを用いてもよい。

また、角度を変えてマッチングを行うこととしても良い。このように角度を変えることでマッチングの精度を向上させることができる。また、フレーミング情報から被写体を検出し、被写体周辺部分のみを切り出して、ブロックマッチングすることとしてもよい。

以上、説明してきたように、本実施形態に係る撮像システムによれば、本撮影に先行してスルー画像を取得し、このスルー画像の情報を用いて本撮影画像のノイズ低減を行う。この場合において、スルー画像は、本撮影画像に比べて解像度が低いので、このような低解像度の画像を用いて本撮影画像のノイズを低減することにより、処理負担の低減を図ることが可能となるとともに、低解像なゆえに画像のエッジ等の特徴を現しているスルー画像を本画像と合成することにより、ノイズ低減効果を向上させることができる。更に、スルー画像は、本撮影画像に比べてデータ容量が小さいため、メモリ容量を圧迫することもなく、大容量のメモリを必要としない点で有利である。
また、本撮影画像の画像処理に用いるスルー画像として、感度の異なるスルー画を採用することにより、感度が低く、よりノイズの少ない画像を用いて補正することで、よりノイズ低減性能を上げることができる。さらには、感度は高くても画素加算することによりノイズが低減されたスルー画像を用いて補正するようなこともできる。

なお、上記実施形態において、図５に示したスルー画像選択処理に代えて、例えば、シャッターボタンが全押しされたときの直前或いは所定枚数前に取得されたスルー画像を選択することとしてもよい。なお、このとき、選択されるスルー画像は、撮影条件が本撮影時と異なっていることが条件となる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。
上述した第１の実施形態では、スルー画像を用いてノイズ低減処理を行っていたが、本実施形態では、スルー画像を用いて色補正を行う点で異なる。より具体的には、上述した第１の実施形態で図４を参照して説明した本撮影画像の画像処理に代えて、図７に示す画像処理を実行する。
以下、本実施形態に係る撮像システムについて、上記第１の実施形態と異なる点について主に説明する。

〔本撮影画像の画像処理〕
図７は、本実施形態に係る本撮影画像の画像処理の処理手順を示した図である。
まず、本撮影画像の画像処理で用いられるスルー画像の選択処理が行われる（図７のステップＳＦ１）。このスルー画像の選択処理についての詳細は、上述した第１の実施形態と略同様であるが、本実施形態では、図５のステップＳＤ１において抽出されるスルー画像は、露光条件が本撮影画像と異なるスルー画像とされる。

次に、参照画像としてステップＳＦ１で選択したスルー画像を設定し（ステップＳＦ２）、参照画像と本撮影画像とを比較し（ステップＳＦ３）、本撮影画像の色補正が可能か否かを判定する（ステップＳＦ４）。例えば、参照画像と本撮影画像との露光条件の差が所定値以下の場合には、色補正の効果が少ないので色補正を行わない、換言すると、色補正が不可能であると判断する。

この結果、色補正が不可能であると判断した場合には（ステップＳＦ４において「ＮＯ」）、本処理を終了する。一方、色補正が可能であると判断した場合には（ステップＳＦ４において「ＹＥＳ」）、参照画像の撮影時の色に関する条件が本撮影画像と略同等となるように、ホワイトバランス等を補正する（ステップＳＦ５）。
次に、本撮影画像と参照画像の位置合せ処理及びリサイズ処理を行い（ステップＳＦ６）、その後、本撮影画像と参照画像とを複数のエリアに分割する（ステップＳＦ７）。次に、参照画像の各エリア内においてカラーマップを作成するとともに（ステップＳＦ８）、本撮影画像の各エリア内においてカラーマップを作成し（ステップＳＦ９）、これらをメモリに格納する。

上記カラーマップは、参照画像、本撮影画像のそれぞれの各エリア内において、Ｒ／Ｇ（赤／緑）の平均値、Ｂ／Ｇ（青／緑）の平均値、Ｇ（緑）の平均値を計算することで作成される。

次に、参照画像のカラーマップと本撮影画像のカラーマップとを比較し、具体的には、各エリアにおけるＲ／Ｇ（赤／緑）の平均値、Ｂ／Ｇ（青／緑）の平均値をそれぞれ比較し、中間階調に近い方の値をそれぞれ選択する（ステップＳＦ１０）。次に、選択したそれぞれのＲ／Ｇ（赤／緑）の平均値、Ｂ／Ｇ（青／緑）の平均値をそれぞれの値の狙いの色として、この値を本画像のＲ／Ｇ（赤／緑）の平均値、Ｂ／Ｇ（青／緑）の平均値で除算し、各エリアにおける色補正係数とする（ステップＳＦ１１）。また、選択したそれぞれの値を狙いの色として、この値を本画像のＧ（緑）の平均値で除算し、各エリアにおける色補正係数としてもよい。

次に、全てのエリアにおいて色補正係数が算出されたか否かを判定し（ステップＳＦ１２）、全てのエリアについて色補正係数が算出されていない場合には（ステップＳＦ１２において「ＮＯ」）、ステップＳＦ８に戻り、未処理のエリアにおいて上記処理を繰り返し行う。

一方、全てのエリアにおいて色補正係数が算出された場合には（ステップＳＦ１２において「ＹＥＳ」）、各エリアの色補正係数に基づいて本撮影画像の色補正を行うことで、最終的な本撮影画像を作成し（ステップＳＦ１３）、本処理を終了する。ここで具体的な色補正処理としては、本画像の各画素のＲ／Ｇ（赤／緑）、Ｂ／Ｇ（青／緑）に対して、エリア毎に異なる上記補正係数を乗算することで補正を行い、その結果から再度、Ｒ、Ｇ、Ｂを算出することで色補正処理を行う。

また、それぞれの値を狙いの色として、この値を本画像のＧ（緑）の平均値で除算し、各エリアにおける色補正係数とした場合には、画像の各画素のＧ（緑）に対して、エリア毎に異なる上記補正係数を乗算することで、Ｒ、Ｂを再度算出し、色補正処理を行う。

これらの色補正の際、参照画像のカラーマップと本撮影画像のカラーマップとのうち、より中間階調に近い色に基づいて補正係数が算出されているので、本撮影で露光不足や露光オーバーとなってしまい、色情報が正確でなかった部分についても、参照画像の色情報が残っていれば、それらを用いて色を再現することができる。

以上、説明してきたように、本実施形態に係る撮像システムによれば、本撮影に先行してスルー画像を取得し、このスルー画像の情報を用いて本撮影画像の色補正処理を行う。この場合において、スルー画像は、本撮影画像に比べて解像度が低いので、このような低解像度の画像を用いて本撮影画像の色補正を行うことにより、処理負担の低減を図ることが可能となる。更に、スルー画像は、本撮影画像に比べてデータ容量が小さいため、メモリ容量を圧迫することもなく、大容量のメモリを必要としない点で有利である。
また、露光条件が本撮影画像と異なるスルー画像を用いて本撮影画像の色補正を行うことで、本撮影で露光不足や露光オーバーとなってしまい、色情報が正確でなかった部分についても、参照画像の色情報が残っていれば、それらを用いて色を再現することが可能となる。

〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。
上述した第１の実施形態では、スルー画像を用いてノイズ低減処理を行っていたが、本実施形態では、ブレ補正を行う点で異なる。より具体的には、上述した第１の実施形態で図４を参照して説明した本撮影画像の画像処理に代えて、図８に示す画像処理を実行する。
以下、本実施形態に係る撮像システムについて、上記第１の実施形態と異なる点について主に説明する。

〔本撮影画像の画像処理〕
図８は、本実施形態に係る本撮影画像の画像処理の処理手順を示した図である。
まず、本撮影画像においてブレ補正が必要か否かが判定される（ステップＳＧ１）。これは、例えば、本撮影時の焦点距離に応じて決定される所定のシャッタ速度よりも、撮影シャッタ速度が長かった場合に、ブレ補正が必要であると判断する。なお、これ以外の方法として、例えば、本撮影画像のコントラスト等の情報を用いて判定してもよいし、テブレ補正センサ等を搭載し、その出力を使用して判定することとしてもよい。

この結果、ブレ補正が必要でないと判断された場合には（ステップＳＧ１において「ＮＯ」）、本処理を終了する。一方、ブレ補正が必要であると判定された場合には（ステップＳＧ１において「ＹＥＳ」）、続いて、本撮影画像の画像処理で用いられるスルー画像の選択処理が行われる（ステップＳＧ２）。このスルー画像の選択処理についての詳細は、上述した第１の実施形態と略同様であるが、本実施形態では、図５のステップＳＤ１において抽出されるスルー画像は、本撮影時よりも速いシャッタ速度で取得されたスルー画像とされる。

次に、参照画像としてステップＳＧ２で選択したスルー画像を設定し（ステップＳＧ３）、続いて、参照画像の撮影条件が本撮影画像と略同等となるように、参照画像の露光条件、ホワイトバランス等を補正する（ステップＳＧ４）。
次に、本撮影画像と参照画像とを複数のエリアにそれぞれ分割し、エリア毎にブロックマッチングを行い、相関の高いブロックの本撮影画像と参照画像での座標の変動を計算することで、各エリアの動きベクトルをそれぞれ求める（ステップＳＧ５）。

続いて、エリア毎の動きベクトルから頻度の少ない動きベクトルを被写体のブレエリア、頻度が一番高い動きベクトルが存在するエリアをフレーム間の手ブレによる動きエリアであると推定し、その頻度が一番高い動きベクトルをブレ量として算出する（ステップＳＧ６）。
続いて、上記ブレ量を相殺するように参照画像の各画素を該ブレ量と逆方向に同じ大きさでシフトしながら基準画像の各画素に位置合せし、各画素同士を所定の割合で加算することでブレ補正を行い、最終的な本撮影画像を作成し（ステップＳＧ７）、本処理を終了する。

以上、説明してきたように、本実施形態に係る撮像システムによれば、本撮影に先行してスルー画像を取得し、このスルー画像の情報を用いて本撮影画像のブレ補正処理を行う。この場合において、スルー画像は、本撮影画像に比べて解像度が低いので、このような低解像度の画像を用いて本撮影画像の色補正を行うことにより、処理負担の低減を図ることが可能となる。更に、スルー画像は、本撮影画像に比べてデータ容量が小さいため、メモリ容量を圧迫することもなく、大容量のメモリを必要としない点で有利である。
また、シャッタ速度が本撮影時よりも速いスルー画像を用いて本撮影画像のブレ補正を行うことで、高精度なブレ補正が可能となり、被写体ぶれ等が起きた場合であっても補正が可能となる。

なお、第１の実施形態においてノイズ低減処理を、第２の実施形態において色補正処理を、第３の実施形態においてブレ補正処理を行う場合についてそれぞれ説明したが、これらの実施形態は適宜組み合わせることが可能である。例えば、図１に示した画像処理部２５が、ノイズ低減処理、色補正処理、ブレ補正処理の全てを行うこととしてもよいし、これらの処理のうち任意の組み合わせを適宜実行することとしてもよい。

なお、上述した実施形態では、画像処理装置３としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置３は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置３と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１ 撮像システム
２ 撮像部
３ 画像処理装置
２０ 撮影制御部
２５ 画像処理部
３４ 操作検出部
４１ ＳＤＲＡＭ
４６ 表示モニタ

Claims (10)

1. 撮影光学系と、
   前記撮影光学系を介して被写体を撮像する撮像素子と、
   撮影者の撮影操作を検出する撮影操作検出手段と、
   前記撮影操作がされた場合に、本撮影を行う第１の撮影制御手段と、
   前記本撮影に先立ち、該本撮影とは異なる撮影条件で事前撮影を行う第２の撮影制御手段と、
   前記事前撮影において取得された事前画像に関する情報を記憶する記憶手段と、
   該本撮影により取得された本撮影画像を前記事前画像を用いて補正する画像処理手段と
   を具備することを特徴とする撮像システム。
2. 前記第２の撮影制御手段は、前記本撮影とは異なる解像または露光で事前撮影を行うことを特徴とする請求項１に記載の撮像システム。
3. 前記事前画像を表示する表示手段を備えることを特徴とする請求項１または請求項２に記載の撮像システム。
4. 前記画像処理手段は、前記事前画像に関する情報と前記本撮影画像に関する情報とを比較して類似度を算出し、
   前記類似度が所定の条件を満たす前記事前画像に関する情報を用いて、前記本撮影画像を補正することを特徴とする請求項１から請求項３のいずれかに記載の撮像システム。
5. 前記画像処理手段は、
   前記事前画像に関する情報と前記本撮影画像に関する情報とを照合して位置合わせを行い、
   位置合せが行われた状態で前記事前画像と前記本撮影画像とを合成することを特徴とする請求項１から請求項４のいずれかに記載の撮像システム。
6. 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像のノイズ成分を低減することを特徴とする請求項１から請求項５のいずれかに記載の撮像システム。
7. 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像の色を補正することを特徴とする請求項１から請求項６のいずれかに記載の撮像システム。
8. 前記画像処理手段は、前記事前画像に関する情報を用いて前記本撮影画像の手ブレ、または、被写体ブレを補正することを特徴とする請求項１から請求項７のいずれかに記載の撮像システム。
9. 本撮影に先立ち、本撮影とは異なる解像で事前撮影を行い、該事前撮影で得られた画像を用いて本撮影において取得された画像を補正することを特徴とする撮像装置の画像処理方法。
10. 画像処理を行うための画像処理プログラムであって、
    本撮影に先立って行われるとともに、該本撮影とは異なる解像度で行われた事前撮影において取得された画像を用いて、本撮影において取得された画像を補正する補正処理をコンピュータに実行させるための画像処理プログラム。
    

Images