JP2010193180A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】複数枚の画像を撮像して合成画像を得る場合において、複数枚の画像に位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることが可能な画像処理装置を提供することを目的とする。
【解決手段】露光量及び主被写体との焦点距離がそれぞれ異なる複数の映像信号を取得する。この複数の映像信号から低周波数成分を抽出して複数の低周波映像信号を生成し、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する。また、複数の映像信号から第１の露光量で且つ主被写体に合焦した第１の映像信号を選択し、第１の映像信号から高周波数成分を抽出して高周波映像信号を生成する。そして、合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する。
【選択図】図１

Description

本発明は、映像信号のダイナミックレンジを拡大する画像処理装置に関する。

一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭く、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。このため、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成する手法が提案されている。しかしながら、複数枚の画像を撮影して合成画像を得る場合には、撮影時にカメラぶれや被写体ぶれ等が原因で合成時の映像信号に二重像等のアーティファクトが起きるという問題があった。

特開平７−７５０２６号公報（特許文献１）には、２枚の画像の第１の明度値および第２の明度値に対する重みを何れか一方を基準にして定めることにより、カメラの特性変化、照明強度の変動及び撮像素子上の位置ずれがある場合でも適切な広ダイナミックレンジ画像を生成させる手法が開示されている。また、特開平５−７３３６号公報（特許文献２）では複数枚の撮像時の経時的な位置ずれに対応して、複数の画像に対して座標変換を行った後に合成を行う手法が開示されている。

特開平７−７５０２６号公報 特開平５−７３３６号公報

しかしながら、上記した特許文献１及び特許文献２のいずれの手法においても複数枚の映像信号間の複雑な位置ずれ、例えば、三次元的な動きに起因した位置ずれ等に関しては完全に位置あわせを行うことは困難である。

本発明は、上記問題に鑑みてなされたもので、複数枚の画像を撮像して合成画像を得る場合において、例えば、複数枚の画像に三次元的な動きに起因した位置ずれが存在する場合であっても、ダイナミックレンジを拡大させ画質を向上させることが可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、露光量及び主被写体との焦点距離がそれぞれ異なる複数の映像信号を取得する映像信号取得手段と、前記複数の映像信号から低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、前記複数の映像信号から第１の露光量で且つ主被写体に合焦した第１の映像信号を選択する選択手段と、前記第１の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、を供えたことを特徴とする画像処理装置を提供する。

また、本発明は、複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、露光量及び主被写体との焦点距離がそれぞれ異なる複数の映像信号を取得するステップと、前記複数の映像信号から低周波数成分を抽出して複数の低周波映像信号を生成するステップと、前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、前記複数の映像信号から第１の露光量で且つ主被写体に合焦した第１の映像信号を選択するステップと、前記第１の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。

このように、映像信号のうち位置ずれが目立ちにくい低周波数成分については複数枚の画像について画像合成処理の対象とする一方で、位置ずれの目立ちやすい高周波数成分については任意の一枚のみを画像合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。

本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の低周波数成分生成部の概略構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置における重み付け係数に関する説明図である。 本発明の実施の形態に係る画像処理装置の高周波数成分生成部の概略構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の画像合成部の概略構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置における画像合成処理の過程を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施の形態に係る画像処理装置の概略構成を示したブロック図である。
本実施の形態にかかる画像処理装置は、図１に示すように、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、ＣＣＤ１０４、Ａ／Ｄ変換部１０５、バッファ１０６、撮影制御部１０７、画像処理部１２０、圧縮部１１５、出力部１１６、制御部１１７、外部Ｉ／Ｆ部１１８を備えている。

レンズ１００系は絞り１０１を介して被写体の像を結像し、カラーフィルタ１０３を介して撮像素子であるＣＣＤ１０４上に像を結像するように配置されている。ＡＦモータ１０２は、後述する撮影制御部１０７によって駆動制御され、撮影制御部１０７からの制御信号に基づいて、被写体に対してレンズ系１００を合焦させるように駆動される。ＣＣＤ１０４は、レンズ系１００により結像された被写体の像に基づいて電気的な画像情報を生成し、この電気的な画像情報をＡ／Ｄ変換部１０５に出力する。なお、本実施の形態においては、ＣＣＤ１０４はＲＧＢ原色系の単板ＣＣＤを用いるものとして説明する。Ａ／Ｄ変換部１０５では、ＣＣＤ１０４で生成された画像情報を画像処理部１２０において所定の処理が可能な離散化されたデジタルデータとしての映像信号に変換し、変換された映像信号を一旦バッファ１０６に記憶し、バッファ１０６から画像処理部１２０へ出力する。圧縮部１１５は、後述する画像処理部１２０で所定の処理がなされた映像信号を圧縮し、出力部１１６へ出力する。

撮影制御部１０７は、撮影時の合焦条件および露光条件を決定するものであり、撮影時の情報は制御部１１７へ出力される。映像信号のＡＦエリア内のコントラスト情報を検出し、コントラストが最大となるように、もしくは、プリ撮影時に映像信号を取得せずに、例えば、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、この距離に応じてＡＦモータ１０２を駆動制御する。また、撮影制御部１０７は、映像信号中の輝度レベルや図示しない輝度センサを用いて入射光量の調整のため絞り１０１およびＣＣＤ１０４の電子シャッタ速度などを制御する。撮影制御部１０７による制御は本撮影における撮影回数と同じ回数だけ行われる。すなわち、上記した処理が複数回行われ、撮影された複数枚分の画像の映像信号がバッファ１０６に一旦記憶され、バッファ１０６から映像信号が一枚分ずつ順次画像処理部１２０へ出力される。

また、撮影制御部１０７は映像取得手段としても機能し、適正な露光量をＢ、主要被写体までの距離をＤと定義した場合に、露光量がＢで距離Ｄに合焦した映像信号Ｓ１と、露光量がＢと異なり、かつ、主要被写体に合焦していない映像信号Ｓ２、すなわち、ぼけた映像信号とをそれぞれ少なくとも１枚取得するようにレンズ系１００、絞り１０１及びＡＦモータ１０２などを制御する。

制御部１１７は、撮影制御部１１７、後述する画像処理部１２０の信号処理部１０８、変換部１０９、低周波数成分生成部１１０、選択部１１１、高周波数成分生成部１１２、画像合成部１１３、階調変換部１１４および圧縮部１１５と双方向に接続され、夫々を駆動制御する。外部Ｉ／Ｆ部１１８は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えている。

画像処理部１２０は、信号処理部１０８、低周波映像信号生成手段としての変換部１０９、合成低周波映像信号生成手段としての低周波数成分生成部１１０、選択手段としての選択部１１１、高周波映像信号生成手段としての高周波数成分生成部１１２、画像合成手段としての画像合成部１１３、及び階調変換部１１４を備えている。

信号処理部１０８は、制御部１１７の制御に基づきバッファ１０６から入力された単板状態の映像信号を読み込み、補間処理、ホワイトバランスの調整処理、電子ズーム処理、ノイズ抑制処理等の所定の画像処理を行い、各画素ＲＧＢの三板状態の映像信号を生成し、変換部１０９へ出力する。さらに、以下の数１式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換してもよい。

変換部１０９は、複数枚の映像信号の合焦位置の情報を撮像制御部１１７から取得し、主要被写体に合焦した映像信号に対してのみ平滑化フィルタ等の変換処理を行い低周波映像信号を生成する。一方、主要被写体以外に合焦した、すなわち、ぼけた映像信号に対しては何も処理を行わない。本実施の形態においては、映像信号Ｓ１に対しては変換処理を行いＳ１の低周波映像信号を生成し、映像信号Ｓ２に対しては処理を行わず、低周波数成分生成部１１０及び高周波成分生成部１１２へ転送する。

低周波数成分生成部１１０は、変換部１０９から入力された低周波映像信号を合成することで合成低周波映像信号を生成する。このため、低周波数成分生成部１１０は、図２に示すように、バッファ３００、重み付け係数算出部３０１および加算部３０２を備えている。

バッファ３００は、変換部１０９から転送された複数枚の映像信号を記憶する。本実施の形態においては、バッファ３００に記憶された映像信号は低周波の映像信号Ｓ１と、ぼけた映像信号Ｓ２の２枚である。加算部３０２は、バッファ３００から転送された複数枚の映像信号に対して、同じ座標の信号値を合成する。合成方法は単純加算でもよいし、以下の数２式のように重み付け係数算出部３０１から転送される重み付け係数αを用いて加算してもよい。

ここで、Ｉは合成後の映像信号を表し、(ｘ，ｙ)は映像信号の座標を表す。また、I_１は適正露光で主要被写体に合焦した１枚の映像信号Ｓ１、I_２は入射光量と焦点距離とが異なる映像信号Ｓ２にそれぞれ対応している。加算する映像信号はＲＧＢ信号の各チャンネルでもＹＣｂＣｒ信号でもよい。重み付け係数算出部３０３は、図３のように重み付け係数αを算出する。重み付け係数αは映像信号Ｓ１に対する関数として表されている。図３における関数は映像信号Ｓ２が映像信号Ｓ１より露光量が少ない場合を示している。すなわち、映像信号が飽和する可能性のある閾値Ｔｈより大きな信号値に対しては暗く撮像された映像信号Ｓ２の重みを大きくし、閾値Ｔｈ以下の信号値に対しては適正露光で撮像された映像信号Ｓ１の重みを大きくする。このような重み係数を用いることによって、信号の飽和部を考慮した加算が可能となる。また合成前の映像信号は全てぼけた映像信号、すなわち、低周波映像信号となっている。加算後の低周波映像信号は画像合成部１１３へ転送される。

選択部１１１は、は信号処理部１０８から転送された複数枚の映像信号のうち、撮像制御部の情報を用いて適正露光で主要被写体に合焦した映像信号を１枚選択する。

高周波数成分生成部１１２は、選択部１１１で選択された適正露光で主要被写体に合焦した１枚の映像信号から低周波映像信号を差し引くことで高周波映像信号を生成するものであり、図４に示すように、バッファ４００，４０１、及び差分信号算出部４０２を備えている。バッファ４００は変換部１０９から入力される複数枚の低周波映像信号が記憶される。バッファ４０１は選択部１１１により入力された１枚の映像信号が記憶される。差分信号算出部４０２は制御部１１７による制御に基づいてバッファ４００から低周波映像信号を読み出し、バッファ４０１の１枚の映像信号からこの低周波映像信号を差し引くことで、すなわち、次の数３式で表されるような各座標（ｘ，ｙ）における差分処理を行うことで高周波映像信号を生成する。

ここで、Ｈ（ｘ，ｙ）は差分処理後の高周波映像信号、Ｓ１は選択部１１１により入力された適正露光で主要被写体に合焦した１枚の映像信号Ｓ１、Ｓ１´は選択部１１１により抽出された映像信号Ｓ１に相当する低周波映像信号を示す。

画像合成部１１３は、高周波数成分生成部１１２の高周波映像信号および低周波数成分生成部１１１にて合成された合成低周波映像信号に対して同じ座標の信号値を加算し、階調変換部１１４へ転送する。高周波映像信号はノイズが含まれている可能性があるため、ノイズ低減の後に加算処理を行うことが好ましい。このため、画像合成部１１３は、図５に示すようにバッファ５００，５０１、ノイズ低減部５０２および加算部５０３を備えている。バッファ５００は、高周波数成分生成部１１２から転送された高周波映像信号を一旦記憶し、これをノイズ低減部５０２に転送する。ノイズ低減部５０２は、高周波映像信号に対して平滑化フィルタや、メディアンフィルタ等を用いてノイズを低減する。加算部５０３は、ノイズ低減後の高周波映像信号およびバッファ５０１から転送される合成された合成低周波映像信号との同じ座標における加算処理を行い合成映像信号を生成し、階調変換部１１４へ転送する。

階調変換部１１４は、画像合成部１１３から転送された合成映像信号に対して、ガンマ変換やトーンカーブによる階調変換処理を行い、圧縮部１１５に転送する。

以下、このように構成された本実施の形態の画像処理装置における画像合成処理の過程について図６のフローチャートを用いて説明する。

以下、説明の便宜上、撮影回数を２回、すなわち映像信号をＳ１及びＳ２の２枚の映像信号を取得することして説明する。また、本撮像における適正な露光量をＢ、主要被写体までの距離をＤと定義し、Ｓ１は、露光量がＢで距離Ｄに合焦した映像信号であり、Ｓ２は、露光量がＢの半分で、無限遠の距離に合焦した映像信号、すなわち、主要被写体に焦点があっておらず、ぼけた映像信号として説明する。

なお、映像信号Ｓ２を取得するための合焦位置は主要被写体から遠ければどこでもよく、ＡFモータ１０２を制御して撮像システムの最短撮像距離に合焦位置をあわせても良い。また、絞り１０１を適正露光時に比べて開放にし、図示しないメカシャッタや電子シャッタのシャッタースピードを適正露光時に比べて早くすることで映像信号Ｓ２を撮像してもよい。おのおのの撮像時の情報は制御部１１７へ転送される。なお、これ以降撮像される複数枚の映像信号はＳ１、Ｓ２の２枚として説明する。また、本撮像の際に装置が自動的に複数枚の撮像を行う代わりに、撮影者が本撮像のたびに絞り１０１やＡＦモータ１０２を制御して撮像してもよい。

画像処理装置では、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度、露出などの撮影条件を設定した後、図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。そして、本撮影における撮影回数と同じ回数のプリ撮影が終了すると、外部Ｉ／Ｆ部１１８を介して図示しないシャッターボタンを全押しすることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部１１７へ転送される。例えば、本撮影における撮影回数が２回の場合、入射光量が適正な映像信号Ｓ１およびＳ１に対して入射光量と焦点距離とが異なる映像信号Ｓ２の２回の撮影が行われ，各々の撮影時の情報は制御部１１７へ転送される。

ステップＳ１１では、ＣＣＤ１０４からの映像信号をＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダー情報として読み込み次のステップＳ２に進む。ステップＳ１２では、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影されたＳ１及びＳ２の映像信号が、Ａ／Ｄ変換部１０５にてデジタルの映像信号へ変換されてバッファ１０６へ入力される。ステップＳ１３では、信号処理部１０８により補間処理、ホワイトバランスの調整処理、Ｙ／Ｃ信号生成処理、電子ズーム処理、ノイズ抑制処理等の信号処理を行い、ステップＳ１４に進む。

ステップＳ１４では、変換部１０９により複数枚の映像信号の合焦位置の情報を撮像制御部１１７から取得し、主要被写体に合焦した映像信号Ｓ１に基づいて低周波映像信号を生成し、ぼけた映像信号であるＳ２に対しては何らの処理も行わずにステップＳ１５に進む。なお、生成された低周波映像信号Ｓ１´及び処理がなされなかった映像信号Ｓ２はともに、低周波数成分生成部１１０及び高周波成分生成部１１２へ出力される。
ステップＳ１５では、選択部１１１により、信号処理部１０８から転送されたＳ１及びＳ２の映像信号のうち、撮像制御部の情報を用いて適正露光で主要被写体に合焦した映像信号である映像信号Ｓ１を選択し、この一枚の映像信号Ｓ１を高周波数成分生成部１１２に出力する。

ステップＳ１７では、高周波数成分生成部１１２により、変換部１０９から入力された低周波映像信号Ｓ１´と選択部１１１から入力された映像信号Ｓ１との差分を取ることで高周波映像信号を生成する。そして、生成された高周波映像信号を画像合成部１１３へ出力する。

ステップＳ１６では、低周波数成分生成部１１０により変換部１０９から入力された低周波映像信号Ｓ１´と映像信号Ｓ２とを合成して、合成低周波映像信号を生成し、この合成低周波映像信号を画像合成部１１３へ出力して次のステップＳ１８へ進む。

ステップＳ１８では、画像合成部１１３により適正露光で主要被写体に合焦した映像信号である映像信号Ｓ１および合成された合成低周波映像信号に対して加算処理、すなわち画像合成を行い、合成映像信号を生成する。合成映像信号は階調変換部１１４へ出力され、ステップＳ１９へ進む。ステップＳ１９では、階調変換部１１４により、入力された合成映像信号に対して、所定の階調変換処理を行い、本ルーチンを終了する。なお、階調変換処理がなされた合成映像信号は圧縮部１１５へ出力され、圧縮部１１５において、ＪＰＥＧ圧縮等の圧縮処理を施し、出力部１１６へ出力される。

このように、映像信号のうちブレが目立ちにくい低周波数成分については複数枚の画像について合成処理の対象とする一方で、ブレの目立ちやすい高周波数成分については適正露光で主要被写体に合焦した１枚の映像信号のみを合成処理の対象とすることで、ブレのある複数枚の映像信号に対しても二重線等のアーティファクトがないダイナミックレンジの広い合成信号を生成することができる。

なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

１０９ 変換部
１１０ 低周波数成分生成部
１１１ 選択部
１１２ 高周波数成分生成部
１１３ 画像合成部
３０１ 重み付け係数算出部
３０２ 加算部
４０２ 差分信号算出部
５０２ ノイズ低減部
５０３ 加算部

Claims (9)

1. 複数の映像信号を合成することでダイナミックレンジを拡大する画像処理装置であって、
   露光量及び主被写体との焦点距離がそれぞれ異なる複数の映像信号を取得する映像信号取得手段と、
   前記複数の映像信号から低周波数成分を抽出して複数の低周波映像信号を生成する低周波映像信号生成手段と、
   前記複数の低周波映像信号を合成し、合成低周波映像信号を生成する合成低周波信号生成手段と、
   前記複数の映像信号から第１の露光量で且つ主被写体に合焦した第１の映像信号を選択する選択手段と、
   前記第１の映像信号から高周波数成分を抽出して高周波映像信号を生成する高周波映像信号生成手段と、
   前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成する画像合成手段と、
   を供えたことを特徴とする画像処理装置。
2. 前記映像信号取得手段は、前記第１の映像信号と、第２の露光量で且つ主被写体に合焦しない第２の映像信号を夫々少なくとも１枚取得し、
   前記低周波映像信号取得手段は、前記第１の映像信号から低周波数成分を抽出して映像信号を生成するとともに、前記第２の映像信号を低周波映像信号とする、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の露光量は、被写体に対するいわゆる適正露光に相当する露光量であることを特徴とする請求項２に記載の画像処理装置。
4. 前記低周波映像信号生成手段は、前記映像信号に対して平滑化フィルタによりフィルタリングすることで低周波映像信号を生成することを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
5. 前記低周波映像信号の画素値に基づいて、前記複数の低周波映像信号の合成割合である重み付け係数を算出する重み付け算出手段を備え、
   前記合成低周波映像信号生成手段は、前記重み付け係数に基づいて、前記低周波映像信号を重み付けして合成を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
6. 記高周波映像信号生成手段は、前記第１の映像信号と前記低周波映像信号との差分を算出することにより、高周波映像信号を生成することを特徴とする請求項１乃至請求項５の何れか１項に記載の画像処理装置。
7. 前記画像合成手段は、前記合成低周波映像信号と前記高周波映像信号を加算することを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
8. 前記画像合成手段が、前記高周波映像信号に対してノイズ低減処理を行うノイズ低減手段を備え、
   前記合成低周波数映像信号と前記ノイズ低減手段によりノイズが低減された高周波映像信号とを加算することを特徴とする請求項１乃至請求項７の何れか１項に記載の画像処理装置。
9. 複数の映像信号を合成することでダイナミックレンジを拡大する画像処理プログラムであって、
   露光量及び主被写体との焦点距離がそれぞれ異なる複数の映像信号を取得するステップと、
   前記複数の映像信号から低周波数成分を抽出して複数の低周波映像信号を生成するステップと、
   前記複数の低周波映像信号を合成し、合成低周波映像信号を生成するステップと、
   前記複数の映像信号から第１の露光量で且つ主被写体に合焦した第１の映像信号を選択するステップと、
   前記第１の映像信号から高周波数成分を抽出して高周波映像信号を生成するステップと、
   前記合成低周波映像信号と前記高周波映像信号とを合成することにより合成映像信号を生成するステップと、
   をコンピュータに実行させる画像処理プログラム。

Images