JP2009213032A - ワイド・ダイナミック・レンジ画像生成処理装置 - Google Patents

Abstract

【課題】白とびや黒つぶれなどが発生する撮影条件可においても、白とびと黒つぶれが無いダイナミック・レンジの広い画像生成を行うことを実現する。
【解決手段】検出部（１１）で検出したピーク値と閾値とを比較し短時間露光の露光時間を制御し、比較した結果が一定の範囲内であれば、さらにピーク値と閾値とを一致するように露光時間の制御を行う。また、検出部で検出したピーク値に対する閾値においては高輝度被写体の階調を広くする値に設定する。さらに、短時間露光画像のヒストグラム分布から、短時間露光画像の階調が広がるようにＡＧＣ部（２）によるゲイン調整処理、ガンマ補正の設定を行う。短時間露光画像と長時間露光画像との合成処理においても、ヒストグラム分布のパターンから、それぞれのパターンに合わせて予め決めた比率で合成を行う。このような特徴を備えることにより、ダイナミック・レンジの広い画像生成を実現する。
【選択図】図１

Description

本発明は、ワイド・ダイナミック・レンジ画像生成処理装置に関するものである。

本技術分野の背景技術として、例えば、特許文献１がある。該公報には、「標準輝度映像信号と高輝度映像信号を加算して得られる広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得ることのできる広ダイナミックレンジ撮像装置の実現を目的とする。異なる露光条件、異なるゲイン制御の少なくとも何れか１つによって、標準的な明るさの被写体が適正レベルとなるようにして得た標準輝度映像信号と、所定値より明るい被写体が適正レベルとなるようにして得た高輝度映像信号を加算し、広ダイナミックレンジ映像信号を得る場合、上記高輝度映像信号のピーク値を検出し、このピーク値に基づき、上記標準輝度映像信号と上記高輝度映像信号にそれぞれ乗算する乗算係数を算出し、それぞれに乗算した後、加算することにより広ダイナミックレンジ映像信号を損失無く、かつ最適なレベルで得るものである」と記載されている。

また、本技術分野の背景技術として、例えば、特許文献２がある。該公報には、「従来の撮像装置は、ダイナミックレンジの広い範囲で最適なコントラストを得るという点が充分ではなかった。この発明の撮像装置は、撮像素子への露光量を少なくとも２段階に設定する手段と、露光量を少なくして撮像した第２の映像信号の画面全体あるいは所定の領域の明るさの積分値またはピーク値を検出する手段と、この検出手段から得られる信号に基づいて第１の所定値及び第２の所定値と圧縮伸長手段の圧縮率または伸長率を制御する手段と、前記圧縮手段からの信号と、前記圧縮伸長手段からの信号とを加算することにより広いダイナミックレンジの映像信号を出力する加算手段とを備えるようにしている。」と記載されている。

また、特許文献３には、ビデオカメラの露光制御装置について、信号処理回路の出力信号レベルを所望出力信号レベルに保ちながら、撮像素子のダイナミックレンジの範囲の中で撮像素子の出力信号振幅を常に大きく保つことにより撮影時のＳ／Ｎ改善を実現する方法が示されている。

特開２００１−０９４８７０公報 特開２００２−１８５８６６公報 特開平７−１０７３６４公報

特許文献１の方法のようにピーク値に基づき、長時間露光画像と短時間露光画像にそれぞれ乗算する乗算係数を算出し、乗算後、合成する手法では、大元となる短時間露光画像自体の最適な露光時間を確保出来ておらず、被写体の露光状況に応じては、最適なワイド・ダイナミック・レンジを持った画像生成は出来ないという課題がある。

また、特許文献２の方法では、明るさ検出で求めた輝度のピーク値と積分値を短時間露光画像と長時間露光画像との合成に用いているが、撮像素子の露光時間制御へは利用しておらず、被写体の露光状況に応じては、最適なワイド・ダイナミック・レンジを持った画像生成は出来ないという課題がある。

特許文献３においても同様の課題と言える。

本発明の目的は、上述する最適なワイド・ダイナミック・レンジを持った画像生成は出来ない問題を考慮し、問題となる撮影条件可において、白とびと黒つぶれが無いダイナミックレンジの広い画像生成を行うことを実現することである。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、検出部で検出したピーク値と閾値とを比較し短時間露光の露光時間を制御し、比較した結果が一定の範囲内であれば、さらにピーク値と閾値とを一致するように露光時間の制御を行う。また、検出部で検出したピーク値に対する閾値においては高輝度被写体の階調を広くする値に設定する。さらに、短時間露光画像のヒストグラム分布から、短時間露光画像の階調が広がるようにＡＧＣ部によるゲイン調整処理、ガンマ補正の設定を行う。短時間露光画像と長時間露光画像との合成処理においても、ヒストグラム分布のパターンから、それぞれのパターンに合わせて予め決めた比率で合成を行う。

本発明によれば、白とびや黒つぶれなどが発生する撮影条件可において、白とびと黒つぶれが無いダイナミックレンジの広い画像生成を実現することが可能である。

以下、本発明の実施形態を図面により説明する。
《実施の形態１》
図１は実施の形態１による短時間露光で撮像された白とびの無い画像信号（以下、短時間露光画像）と長時間露光で撮像された黒つぶれの無い画像信号（以下、長時間露光画像）を用い、白とびと黒つぶれが無いダイナミックレンジの広い画像を生成する画像処理装置の一例である。

撮像素子部１は、被写体を撮像して画像信号を出力する機能を有する。例えば、ＣＣＤセンサー部とＡＦＥ（アナログフロントエンド）機能部を組み合わせた撮像素子部やＣＭＯＳセンサー部などの撮像素子部などがこれにあたる。制御信号８により、電子シャッタの露光時間情報・指示を受け、電子シャッタの露光時間を調整する機能を持つ。

ＡＧＣ（オートゲインコントロール）部２は、前記撮像素子部１より画像信号を受け、その画像信号に対し、ゲイン調整処理を行い、ＹＣ信号処理部３へ画像信号を出力する。また、このゲイン調整処理を行うため、制御信号９から、適切なゲイン調整情報・指示を受ける。

前記ＹＣ信号処理部３は、前記ＡＧＣ部２が出力した画像信号に対し、ＹＣ分離処理、ガンマ補正処理等の画像補正を行い出力する。画像補正処理機能は、補正処理を適切に行うため、制御部１６が出力する画像補正情報・指示である制御信号１３に従って実行する。前記ＹＣ信号処理部３から出力された画像信号は、ＷＤＲ（ワイド・ダイナミック・レンジ処理）部６に入力される。

前記ＷＤＲ部６は、ゲイン調整部４と合成処理部５から構成する。前記ゲイン調整部４は、前記ＹＣ信号処理部３が出力する画像データに対し、適切なゲイン調整・指示情報となる制御信号１４を用い、ゲイン調整処理を行い、フレームメモリ部７の１チャンネル（以下、１ｃｈ）、前記合成処理部５のどちらか、又は、両方に画像データを出力する。

前記合成処理部５は、前記ゲイン調整部４からの画像信号と前記フレームメモリ部７の１ｃｈからの画像信号を受け、その２つの画像を合成し、前記フレームメモリ部７の２チャンネル（以下、２ｃｈ）へ出力する。また、毎フレーム単位に、前記フレームメモリ部７へ格納された前回フレームのデータを読み出し、映像データとして出力する。制御信号１５は、合成するか否か、合成する場合は、前記ゲイン調整部４からの画像信号と前記フレームメモリ７の１ｃｈからの画像信号との混合率の割合情報などを含む。また、合成後の画像データと前記ゲイン調整部４が出力した画像データの内、どちらを前記フレームメモリ７の２ｃｈへ出力するかなどの制御情報も含む。

前記フレームメモリ部７は、画像データの入出力をそれぞれ独立に行うチャネルを２つ以上有し、１ｃｈで前記ゲイン調整部４の出力画像データをメモリに取り込み、取り込んだデータを前記合成処理部５へ出力する機能と、２ｃｈで前記合成処理部５の出力データをメモリに取り込み、次フレームで前記合成処理部５へ出力する。例えば、２ｃｈの入力データが２フレームに１回の場合であっても、出力動作は、メモリの取り込んだデータを２フレーム間出力することが可能で、途切れること無く画像を出力することができる。メモリの取り込んだデータが更新されるまで、毎フレーム同じデータを出力し続ける。

検出部１１は、ヒストグラム検出機能、ピーク検出機能の信号解析機能を有し、前記ＡＧＣ部２からの信号データ１０を受け、各検出結果を検出情報信号１２により制御部１６に出力する。ヒストグラム検出機能は、１フレーム分の輝度信号に対しヒストグラム解析を行う。ピーク検出機能は、１フレーム分の輝度信号に対し設定したエリアの最大輝度値を検出する。

前記制御部１６は、前記撮像素子部１、前記ＡＧＣ部２、前記ＹＣ信号処理部３、前記ＷＤＲ処理部６、前記検出部１１を総括しコントロールを行う機能を有し、毎フレーム交互に短時間露光画像用設定値と長時間露光画像用設定値を算出、設定を行う。
このような構成を取ることにより、長時間露光画像と短時間露光画像を生成し、合成により白とびと黒つぶれが無いダイナミックレンジの広い画像を生成する画像処理を実現する。

図２は、前記制御部１６の短時間露光制御機能動作を示すフローチャートである。図２のフローチャートの処理は、短時間露光フレームの終了毎に実行する。図２で決定された設定は、次の短時間露光フレームに反映する。

映像信号のピーク値と設定した閾値との比較部１７の処理は、映像信号のピーク値と設定した閾値とを比べる。これは、電子シャッタの露光時間が被写体の輝度に対し、最適となっているかの判断を行うためである。ピーク値が閾値と離れていれば電子シャッタ調整処理１８へ移行し、閾値と同じ、又は閾値を中心にある一定の範囲内に収まっていればヒストグラム結果による画像補正設定処理部１９の処理へ移行する。閾値は、ピーク値と閾値が同じになったとき、高輝度の被写体の階調が広がるように輝度レベルを１００［ＩＲＥ］相当に設定する。

前記電子シャッタ調整処理１８は、電子シャッタの露光時間を変更する機能を有し、ピーク値が設定した閾値に近くなるように露光時間を変更する。ピーク値が閾値を中心にある一定の範囲以下なら電子シャッタの露光時間を長くし、閾値を中心にある一定の範囲以上なら露光時間を短くする。ピーク値と閾値が同じ、もしくは、閾値を中心にある一定の範囲内に収まるまでは、前記比較部１７の処理と前記電子シャッタ調整処理１８を繰り返す。この場合、ピーク値と閾値が一致だけでなく、閾値を中心にある一定の範囲内で収めるとは、この後に行う合成処理２０へ入るための時間を短縮することが目的となる。また、これは、長時間露光画像の白く潰れた箇所に電子シャッタの露光時間を合わせるためである。

例えば、図３（Ａ）と図３（Ｂ）に示すようなヒストグラムを表す画像信号がある。図３（Ａ）は、電子シャッタの露光時間が設定できる最短時のときのヒストグラム分布である。露光時間が被写体の白飛び箇所に合っておらず、ヒストグラムの分布は、暗い領域にかたまり、黒く潰れた画像となる。図３（Ａ）のような映像（画像）のヒストグラムを検出した場合、ピーク値と閾値があっていないため、前記比較部１７の処理から前記電子シャッタ調整処理１８に処理が移り、ピーク値が閾値以下のため、次の短時間露光画像フレームの電子シャッタの露光時間は、前記電子シャッタ調整処理１８で長くなるように設定する。次の短時間露光画像フレームでもピーク値と閾値を比べる前記比較部１７の処理が行われ、条件が満たされていなければ、前記電子シャッタ調整処理１８で露光時間を変更する。図３（Ｂ）は、前記電子シャッタ調整処理１８後、電子シャッタの露光時間が最適となった場合のヒストグラム分布である。フレーム毎に図２の前記比較部１７と前記電子シャッタ調整処理１８を繰り返すことでヒストグラムの分布は、図３（Ａ）から図３（Ｂ）のように推移する。露光時間を調節すると短時間露光画像は、長時間露光画像の白飛びしている箇所について階調を持った画像となる。

前記ヒストグラム結果による画像補正設定処理部１９は、ヒストグラム結果による画像補正設定処理となり、短時間露光画像のヒストグラム分布を読取り、図１に示す前記ＡＧＣ部２、前記ＹＣ信号処理部３の処理部の設定を決定する。例えば、画像補正設定処理は、ヒストグラム分布が暗い領域に分布が固まっていれば、前記ＡＧＣ部２、前記ＹＣ信号処理部３の処理部にてゲインを１倍〜２倍程度かけ、暗い箇所を見やすくし、明るい箇所に分布が固まって入れば、前記ＡＧＣ部２、前記ＹＣ信号処理部３の処理部で信号を減算し、ガンマ補正で階調が広がるように信号レベルを変更する。

前記合成処理２０は、ヒストグラムの分布から予め決定した比率で、長時間露光画像と短時間露光画像の比率を決定し、図１の前記ゲイン調整部４、前記合成処理部５のゲイン調整部、合成処理部の設定を決定する。また、前記合成処理２０を通らないと合成は行わない。

以下、合成の効果を図３、図４、図５を用いて説明する。

図４に長時間露光画像のヒストグラム分布と図５に合成画像のヒストグラム分布を示す。図４の長時間露光画像のヒストグラム分布は、輝度レベルの高い箇所にレベルが集中していることがわかる。図５の合成画像のヒストグラム分布では、図４で白飛びしていた箇所に図３（Ｂ）の短時間露光画像の信号が分布しており、白飛びの無い画像になっていることがわかる。合成画像は、ダイナミックレンジの広がった画像となる。

電子シャッタ微調整処理２１は、ピーク値と閾値とを監視し、電子シャッタの露光時間を微調整する処理を行う。ピーク値と閾値がある一定の範囲内で前記比較部１７の処理と前記電子シャッタ調整処理１８をしている時、前記ヒストグラム結果による画像補正設定処理部１９の処理へ移行した際、さらに、ピーク値と閾値が一致するように微調整を行う。このように、より細かな露光時間制御を行うことで、最適な電子シャッタの露光を保つことが出来る。また、微調整の判断には、ノイズを考慮してヒステリシスを持たせる。

図２のフローチャートの一連の処理により、被写体にあった露光時間と画像補正処理を行うことができる。また、シーンが切り替わった場合（被写体が切り替わった場合）の露光時間の変更にも対応している。シーン切替時の流れを図２のフローチャートを使用し説明する。例えば、シーン判定は、ピーク値と閾値の関係により判断する。シーンが切り替わった場合（被写体が切り替わった場合）、ピーク値と閾値の関係は変わる。処理は、前記比較部１７の判断処理で前記電子シャッタ調整処理１８に移行し、２０の合成処理を中断する。ピーク値と閾値の条件が揃うまで前記比較部１７と前記電子シャッタ調整処理１８を続ける。合成処理は、常にシーンに合った露光時間で行われることになる。また、図２のフローチャートで合成が行われていない場合の映像出力は、長時間露光画像を出力する。

なお、この発明は上記した実施の形態に限定されるものではなく、この外その趣旨を逸脱しない範囲で、変形して実施することが出来る。

《実施の形態２》
実施の形態２は、実施の形態１に対し、短時間露光画像と長時間露光画像の合成処理において、最適な調整を行うことにより、自然で、白とびと黒つぶれが無いダイナミックレンジの広い画像を生成する画像処理装置の一例である。

実施の形態２は、図２の前記合成処理２０以外は、実施の形態１にて説明した機能と同等のものを実装する装置となるのが特徴となる。

前記合成処理２０は、ヒストグラムの分布から予め決定した比率で、長時間露光画像と短時間露光画像の比率を決定し、図１の前記ゲイン調整部４、前記合成処理部５のゲイン調整部、合成処理部の設定を決定する。この場合、前記合成処理部５において、映像の合成比率について、最適な調整を行うことにより、より自然な映像にすることが可能である。１例としては、毎フレームに少しずつ短時間露光画像の比率を上げていけば、映像は、白飛びしている箇所が浮かび上がってくるように見える。このような処理を行い、最適な調整を行うことで、違和感無く自然な映像を合成することが出来る。

白とびと黒つぶれが無いダイナミックレンジの広い画像を合成する画像処理装置のブロック図である。 短時間露光制御機能動作を示すフローチャートである。 短時間露光画像のヒストグラム分布を示すブロック図である。 長時間露光画像のヒストグラム分布を示すブロック図である。 合成処理画像のヒストグラム分布を示すブロック図である。

符号の説明

１ 撮像素子部
２ ＡＧＣ部
３ ＹＣ信号処理部
４ ゲイン調整部
５ 合成処理部
６ ワイド・ダイナミック・レンジ処理部
７ フレームメモリ部
８ 撮像素子部への電子シャッタの露光時間情報・指示信号
９ ＡＧＣ部へのゲイン調整情報・指示信号
１０ ＡＧＣ部からのゲイン調整後の信号データ
１１ ヒストグラム検出機能、ピーク検出機能等の信号解析機能を有した検出部
１２ 検出部からの検出情報信号
１３ ＹＣ信号処理部への画像補正情報・指示である制御信号
１４ ゲイン調整部へのゲイン調整・指示情報となる制御信号
１５ 合成処理部への制御信号
１６ 制御部
１７ 映像信号のピーク値と設定した閾値との比較部
１８ 電子シャッタ調整処理部
１９ ヒストグラム結果による画像補正設定処理部
２０ 合成処理部
２１ 電子シャッタ微調整処理部

Claims (9)

1. 被写体を撮像して画像信号を出力する撮像素子部と、
   毎フレーム交互に短時間露光および長時間露光を行なう露光制御部と、
   前記撮像素子部が出力する画像信号を受け、その画像信号に対し、ゲイン調整処理を行うオートゲインコントロール部と、
   前記オートゲインコントロール部が出力する画像信号に対し、ＹＣ分離処理、ガンマ補正処理等の画像補正を行い出力するＹＣ信号処理部と、
   前記ＹＣ信号処理部が出力する画像データに対し、ゲイン調整処理を行い、フレームメモリおよび画像合成処理部へ出力するゲイン調整部と、
   前記ゲイン調整部が出力する画像信号と前記ゲイン調整部が出力した画像信号を格納したフレームメモリからの画像信号とを受け、合成し、フレームメモリ部へ出力し、かつ、フレームメモリから合成後の画像信号を受け、映像信号として出力する画像合成処理部と、
   前記画像合成処理部、およびゲイン調整部からの画像信号を格納するフレームメモリ部と、
   オートゲインコントロール部が出力するゲイン調整された画像信号に対し、ヒストグラム検出とピーク検出を含む信号解析を行なう検出部と、
   前記検出部で検出されたヒストグラム分布およびピーク値を用いて毎フレーム交互に短時間露光画像用設定値と長時間露光画像用設定値を算出し、前記露光制御部の設定を行なう制御部と、を備えるワイド・ダイナミック・レンジ画像生成処理装置。
2. 前記検出部で検出したピーク値と閾値とを比較して短時間露光の露光時間を制御する、請求項１記載のワイド・ダイナミック・レンジ画像生成処理装置。
3. 前記検出部で検出したピーク値と閾値とを比較して一定の範囲内であれば、短時間露光画像と長時間露光画像とを合成する、請求項２記載のワイド・ダイナミック・レンジ画像生成処理装置。
4. 前記検出部で検出したピーク値と閾値が一定の範囲内であったとき、ピーク値と閾値とを一致するように露光時間を制御する、請求項３記載のワイド・ダイナミック・レンジ画像生成処理装置。
5. 前記検出部で検出したピーク値に対する閾値を、高輝度被写体の階調を広くする値に設定する、請求項１又は２記載のワイド・ダイナミック・レンジ画像生成処理装置。
6. 短時間露光画像のヒストグラム分布から、短時間露光画像の階調が広がるように前記オートゲインコントロール部のゲイン、および前記ＹＣ信号処理部ガンマ補正の設定を行なう、請求項１乃至５の何れか１項に記載のワイド・ダイナミック・レンジ画像生成処理装置。
7. 短時間露光画像と長時間露光画像との合成処理において、ヒストグラム分布のパターンから、それぞれのパターンに合わせて予め決めた比率で合成を行う、請求項１乃至６の何れか１項に記載のワイド・ダイナミック・レンジ画像生成処理装置。
8. 短時間露光画像と長時間露光画像との合成処理において、画像の合成比率を少しずつ変化させ、最適な調整を行うことにより自然な映像にする、請求項１乃至７の何れか１項に記載のワイド・ダイナミック・レンジ画像生成処理装置。
9. 被写体を撮像して画像信号を出力する撮像素子部と、
   交互に短時間露光および長時間露光を行なう露光制御部と、
   前記画像信号のヒストグラム分布とピーク値とを検出する検出部と、
   前記検出部で検出されたピーク値を用いて、短時間露光時に画像信号のピーク値が所定の範囲内に入るように前記露光制御部を制御する制御部と、
   前記検出部で検出されたヒストグラム分布を用いて、前記露光制御部により短時間露光されたときに前記撮像素子部で撮像して出力された画像信号と、前記露光制御部により長時間露光されたときに前記撮像素子部で撮像して出力された画像信号とを合成し、合成された画像信号を出力する合成処理部と、を備える撮像装置。

Images