JP2004056573A

JP2004056573A - 映像信号処理方法、処理回路、及び撮像装置の駆動方法

Info

Publication number: JP2004056573A
Application number: JP2002212606A
Authority: JP
Inventors: Hitoshi Nakada; 中田　均
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-22
Filing date: 2002-07-22
Publication date: 2004-02-19

Abstract

【課題】短時間露光画像と長時間露光画像とを合成して広ダイナミックレンジ画像を生成する際に、中間入力レベルでのＳ／Ｎ比の劣化を低減する。
【解決手段】多重加算＋メモリ部２３は、多重加算部１０１とフィールドメモリ１０２とで構成され、入力された短時間露光信号と既にフィールドメモリ１０２に貯えられていた信号とを多重加算部１０１で加算し、疑似的な中時間露光信号として出力する。このような中時間露光画像を広ダイナミックレンジ画像を生成する際に用いることで、Ｓ／Ｎ比を改善した広ダイナミックレンジ画像を得る。また、数フィールド分の画像情報より画面内の動き検出を行い、この動きのある部分（動的領域）については、中時間露光画像の多重加算係数を動的に変更することで動解像度を損なうことなく中時間露光画像を生成し、Ｓ／Ｎ比を改善した広ダイナミック画像を得る。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する映像信号処理方法、処理回路、及び撮像装置の駆動方法に関する。
【０００２】
【従来の技術】
従来より、撮像部より得られた短時間露光画像と長時間露光画像を基に、短時間露光画像にゲインやオフセットの処理を施した後、長時間露光画像と合成し、さらにその合成画像にレベル圧縮を行うことで、広ダイナミックレンジの合成画像を得るようにしたカメラ装置が知られている。
しかしながら、このような方式のカメラ装置においては、短時間露光画像の信号レベルが低い画像については、大きくゲインアップしているため、Ｓ／Ｎ比の悪い、ノイズの多い画像になってしまっていた。
特に長時間露光画像と短時間露光画像の露光比（つまり、両者の露光時間の比）を大きく設定している場合、すなわち合成される画像のダイナミックレンジを広くとりたい場合には、被写体によっては画面内における短時間露光画像のレベルが低くなりすぎ、Ｓ／Ｎ比の悪い領域が多くなる場合があり、露光比をあまり大きく設定できない（つまり、合成画像のダイナミックレンジを大きくとれない）という問題があった。
【０００３】
図１０は、このような従来のカメラ装置に設けられる映像信号処理回路の構成例を示すブロック図である。
このカメラ装置は、図１０に示すように、撮像素子１１、ゲイン＋オフセット部１２、合成部１３、及び圧縮部１４を有して構成されている。
このような回路において、撮像素子１１より長時間露光信号（以下、長時間信号ともいう）と短時間露光信号（以下、短時間信号ともいう）が出力される。
ここで図１１は、それぞれの露光時間を示しており、長時間露光は前の波形１４１のようになり、短時間露光は後の波形１４２のようになる。
そして、短時間信号は、図１２に示すような構成のゲイン＋オフセット部１２に入力され、乗算器７１でゲイン倍され、加算器７２でオフセットが加算されることにより、合成前の短時間露光信号（以下、合成前短時間信号ともいう）になる。
図１３は、本例における合成処理の各波形を入射光量に対してグラフ化したものを示している。図中の実線５１が長時間露光信号（Ｌ）、細破線５２が短時間露光信号（Ｓ）、太破線５３が合成信号（Ｘ）を示している。また、矢印５４は後述する中間入力レベルを示している。
【０００４】
次に、図１０において、合成前短時間信号と長時間信号は合成部１３で合成される。図１４は、この合成部１３の構成例を示している。図示のように、この合成部１３は、合成ゲイン生成部８１、乗算器８２、８３、及び加算器８４を有している。
この合成の方法は、図１４に示すように、長時間信号または合成前短時間信号から得られる入力信号レベルに対し、合成ゲイン生成部８１で長時間信号と合成前短時間信号のそれぞれに対する長時間露光ゲイン信号（以下、長時間ゲインともいう）と短時間露光ゲイン信号（以下、短時間ゲインともいう）を生成し、長・短時間信号と長・短ゲイン信号を乗算後、加算することで行う。
ここで、合成ゲイン信号は、図１５に示すように、入力信号があるレベル以下では長時間ゲイン３１（ＧＬ）を１００％とし、長時間信号が飽和する手前から長時間ゲインの割合を減らし、逆に短時間ゲイン３２（ＧＳ）の割合を上げ、長時間信号が完全に飽和するレベル直前で短時間ゲイン３２（ＧＳ）を１００％とするように生成する。
この合成結果は、図１３に示す合成信号５３のような波形となる。
【０００５】
【発明が解決しようとする課題】
しかしながら、以上のような従来の構成において、短時間信号に対しては、本来、長時間信号と短時間信号の露光比をゲインとして乗算するべきであるが、露光比が大きい場合は、入力信号が図１３の長時間信号５１が飽和し始めるレベル（中間入力レベル５４）にあるときには、特にＳ／Ｎ比が劣化するために、ゲインを露光比より落として使用する場合が多い。
ここで、中間入力レベルでＳ／Ｎ比が特に劣化するのは、短時間信号に対しては全入力レベルにわたって固定値のゲインを乗算しているが、図１０に示す圧縮部１４で出力を標準レベルに圧縮する際に、図１６の入出力カーブ１６１のように、レベルの大きい入力信号に対しては、より圧縮率が高くなるため、入力レベルが大きい信号に対しては、Ｓ／Ｎ比が相対的に改善されていくためである。
このように従来の方法では、特に露光比を高く取った場合に、中間入力レベルでのＳ／Ｎ比が劣化することが問題となる。
【０００６】
なお、例えば特開平１２−６９３５５号公報に開示されるもののように、短時間露光信号のＳ／Ｎ比を改善する目的で、短時間露光信号にデジタルフィルタによるノイズ低減処理をする方法も提案されているが、同一フィールド内のフィルタリング処理によるＳ／Ｎ比の改善効果には限界があり、十分なＳ／Ｎ比改善効果を得られないという実情がある。
【０００７】
そこで本発明の目的は、短時間露光画像と長時間露光画像とを合成して広ダイナミックレンジ画像を生成する際に、中間入力レベルでのＳ／Ｎ比の劣化を低減できる映像信号処理方法、処理回路、及び撮像装置の駆動方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は前記目的を達成するため、短時間露光画像と長時間露光画像とを入力する画像入力ステップと、前記画像入力ステップにより入力した短時間露光画像を数フィールド分多重加算する多重加算ステップと、前記多重加算ステップによって生成した多重加算画像を中時間露光画像として前記長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成ステップと、前記画像合成ステップによって合成された画像を圧縮する圧縮ステップとを有することを特徴とする。
【０００９】
また本発明は、短時間露光画像と長時間露光画像とを入力する画像入力手段と、前記画像入力手段より入力した短時間露光画像を数フィールド分多重加算する多重加算手段と、前記多重加算手段によって生成した多重加算画像を中時間露光画像として前記画像入力手段より入力した長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成手段と、前記画像合成手段によって合成された画像を圧縮する圧縮手段とを有することを特徴とする。
【００１０】
また本発明は、撮像部によって短時間露光画像と長時間露光画像とを入力する画像入力ステップと、前記画像入力ステップにより入力した短時間露光画像を数フィールド分多重加算する多重加算ステップと、前記多重加算ステップによって生成した多重加算画像を中時間露光画像として前記長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成ステップと、前記画像合成ステップによって合成された画像を圧縮する圧縮ステップとを有することを特徴とする。
【００１１】
本発明では、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する場合に、短時間露光画像を数フィールド分多重加算し、この多重加算画像を中時間露光画像として長時間露光画像と合成し、広ダイナミックレンジ画像を生成することから、中間入力レベルでのＳ／Ｎ比の劣化を有効に低減でき、特に露光比を大きくして短時間露光画像と長時間露光画像とを合成して広ダイナミックレンジ画像を生成する際に顕著な画質の向上を図ることが可能である。
なお、本発明は、上述した特開平１２−６９３５５号公報に開示されるように短時間露光信号のノイズ低減をフィルタリング処理する方法に比べて、より有効なＳ／Ｎ比改善効果を得られるものである。
【００１２】
【発明の実施の形態】
以下、本発明による映像信号処理方法、処理回路、及び撮像装置の駆動方法の実施の形態例について説明する。
本実施の形態例は、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成するシステムにおいて、以下の特徴を有するものである。
（１）短時間露光画像を数フィールド分のメモリによって多重加算し、疑似的な中時間露光画像（以下、中時間信号ともいう）を生成し、この中時間露光画像を広ダイナミックレンジ画像を生成する際に用いることで、Ｓ／Ｎ比を改善した広ダイナミックレンジ画像を得る。
（２）上記（１）に加えて短時間露光画像、長時間露光画像またはその両者の数フィールド分の画像情報より画面内の動き検出を行い、この動きのある部分（動的領域）については、上述した中時間露光画像の多重加算係数を動的に変更することで動解像度を損なうことなく中時間露光画像を生成し、Ｓ／Ｎ比を改善した広ダイナミック画像を得る。
【００１３】
以下、本発明の具体的実施例を図面を参照して詳細に説明する。
図１は、本発明の実施例によるカメラ装置に設けられる映像信号処理回路の構成例を示すブロック図である。
図示のように、このカメラ装置は、撮像素子２１、ゲイン＋オフセット回路２２、多重加算＋メモリ部２３、合成部２４、及び圧縮部２５を有して構成されている。すなわち、本例の映像信号処理回路は、図１０に示した構成に加えて、中時間露光信号を生成するための多重加算＋メモリ部２３を設けたものであり、また、合成部２４への入力が２入力から３入力に変更されている。
図２は、本例における多重加算＋メモリ部２３の回路例を示すブロック図である。
この多重加算＋メモリ部２３は、多重加算部１０１とフィールドメモリ１０２とで構成され、入力された短時間信号と既にフィールドメモリ１０２に貯えられている信号とを多重加算部１０１で加算した後、中時間信号として出力し、かつ、フィールドメモリ１０２へも書き込むような構成となっている。
【００１４】
図３は、多重加算部１０１の構成例を示すブロック図である。
この多重加算部１０１は、２つの乗算器１１１、１１２と１つの加算器１１３とで構成され、短時間信号（Ｓ）とフィールドメモリ出力（ＭＯ）に対し、それぞれ別々の係数Ｋ１、Ｋ２を乗算器１１１、１１２で乗算した後、これらを加算器１１３で加算し、フィールドメモリ入力信号（ＭＩ）とするものである。
これを式で示すと下記のようになる。
ＭＩ＝Ｓ×Ｋ１＋ＭＯ×Ｋ２　　　　……（１）
【００１５】
図４は、係数Ｋ１、Ｋ２を生成する回路の構成例を示すブロック図である。
この回路は、減算器１２１、１２３、フィールドメモリ１２２、係数生成部１２４を有している。
そして、まず、短時間信号（Ｓ）とフィールドメモリ出力（ＭＯ）の差分信号（Ｄ１）を減算器１２１で生成する。この差分信号（Ｄ１）は、係数生成部１２４に入力され、係数生成部１２４から係数（Ｋ１およびＫ２）を生成する。
【００１６】
図５は、係数生成部１２４における係数の生成方法を示す説明図であり、実線１３１が係数１（Ｋ１）を示し、破線１３２が係数２（Ｋ２）を示している。
この図５において、差分値（Ｄ１またはＤ２）が小さい場合は、入力画像（Ｓ）がフィールドメモリの出力信号（ＭＯ）と近いことから、その部分の画像に時間的な変化が少ないことを示す。
この場合、係数としては短時間信号（Ｓ）に掛ける係数Ｋ１を小さくし、メモリ出力（ＭＯ）に掛ける係数Ｋ２を大きくする。
逆に、差分値が大きくなった場合は、画像が動いていると考えられるので、その動的領域においては、Ｋ１を大きくし、Ｋ２を小さくすることで、短時間信号の出力の割合を増やし、動いている被写体がぶれないように、つまり、動解像度が落ちないようにする。
なお、図５に示すグラフは、差分値と係数の関係の一例であり、グラフのカーブの設定は実際の画面を見ながら最適値にすることが必要であるので、パラメータとして後から設定できるようにするべきである。
【００１７】
また、以上の説明では、差分信号を短時間信号とそのフィールドメモリ出力から得る場合を説明したが、中間入力レベルのうちで特にレベルが低い場合には短時間露光信号のレベルが十分でないことから、差分信号として使用するには精度が不十分な場合が考えられる。そこで、この場合には、図４に示すように、長時間信号（Ｌ）と、そのフィールドメモリ出力（ＭＯＬ）との差分（Ｄ２）を使用するような方法も考えられる。
【００１８】
図８は、上記のような方法で生成された中時間信号を使った合成部の構成例を示すブロック図である。図示のように、この合成部２４は、合成ゲイン生成部９１、乗算器９２、９３、９４、及び加算器９５を有している。
すなわち、図１４に示した従来の合成方法に比べて、加算器９５に入力される信号が１つ増えている。長時間信号（Ｌ）、中時間信号（Ｍ）、合成前短時間信号（ＳＧ）に対するゲイン（ＧＬ、ＧＭ、ＧＳ）は合成ゲイン生成部９１で図６に示すように生成する。すなわち、図６において、細破線４１が長時間露光信号ゲイン（ＧＬ）を示し、実線４２が中時間露光信号ゲイン（ＧＭ）を示し、太破線４１が短時間露光信号ゲイン（ＧＳ）を示している。
中間入力レベルで、中時間信号に対するゲイン４２が１００％になるようにしており、中間入力レベルで中時間露光信号が合成されるようにしている。
【００１９】
合成信号の入力信号に対する出力を図７に示しており、合成処理の各波形を入射光量に対してグラフ化したものである。
図中の実線６１が長時間露光信号（Ｌ）、細破線６２が短時間露光信号（Ｓ）、一点鎖線６３が中時間露光信号（Ｍ）、太破線６４が合成信号（Ｘ）を示している。また、矢印６５は後述する中間入力レベルを示している。
図示のように、中間入力レベルでは中時間露光信号が出力されるため、フィールドメモリによるＳ／Ｎ比改善効果により、合成信号のＳ／Ｎ比も改善されることになる。
このＳ／Ｎ比の改善によって露光比をより大きくとることができるようになり、よりダイナミックレンジの高い画像を、よりコントラストを高く出力できることになる。
もし、中時間信号を撮像素子から出力することを考えると、その露光時間比は図９に示すような波形となり、長時間露光の露光時間が従来の図１１に示すタイミングと比べて減ってしまい、感度が低下してしまうことになる。
しかし、本例では、長時間露光の露光時間は従来のままであるので、長時間露光の感度を犠牲にすることはなく、良好な画像感度を維持できるものである。
【００２０】
以上のように、本実施の形態例によれば、Ｓ／Ｎ比を犠牲にすることなく合成画像のダイナミックレンジを拡大できるので、よりダイナミックレンジの広い被写体をＳ／Ｎ比を犠牲にすることなく撮像可能になる。
また、Ｓ／Ｎ比を改善するために用いる中時間露光信号は短時間露光信号をメモリによって多重加算して作成するので、撮像素子より同様の信号を得る場合に比べ、長時間露光の露光時間を長くとれるため、感度良く撮像ができ、より暗い部分を撮像できる。
また、撮像素子よりの新たな出力がないために、より高速で撮像素子を駆動したり、新たな出力手段を設ける必要がなく、従来の撮像素子をそのまま利用できる利点がある。
【００２１】
なお、上記の例においては、撮像素子からの出力は長時間と短時間が同時に出力されているが、撮像素子を倍速で駆動し、外部で時間を合わせるような方法にも対応可能である。
また、上記の例では、短時間露光画像を数フィールド分多重加算するためのメモリに、フィールドメモリを用いたが、その代わりにフレームメモリでも同様な処理は可能である。特に従来のＴＶ信号方式ではなく、ＶＧＡ等の撮像素子を使用した場合にはフレームメモリが必須となる。
また、上記の例において、撮像素子としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子を用いる構成を想定しているが、その他の撮像手段を用いたものであってもよいし、また撮像部とカメラ本体を分離可能なシステム、あるいは映像信号処理回路単体についても本発明の範囲に含まれるものとする。
【００２２】
【発明の効果】
以上説明したように本発明の映像信号処理方法、処理回路、及び撮像装置の駆動方法によれば、短時間露光画像と長時間露光画像とを合成し、その合成画像を圧縮して広ダイナミックレンジ画像を生成する場合に、短時間露光画像を数フィールド分多重加算し、この多重加算画像を中時間露光画像として長時間露光画像と合成し、広ダイナミックレンジ画像を生成することから、中間入力レベルでのＳ／Ｎ比の劣化を有効に低減でき、特に露光比を大きくして短時間露光画像と長時間露光画像とを合成して広ダイナミックレンジ画像を生成する際に顕著な画質の向上を図ることができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例によるカメラ装置に設けられる映像信号処理回路の構成例を示すブロック図である。
【図２】図１に示す映像信号処理回路の多重加算＋メモリ部の回路例を示すブロック図である。
【図３】図２に示す多重加算＋メモリ部の多重加算部の構成例を示すブロック図である。
【図４】図３に示す多重加算部に供給する係数を生成する回路の構成例を示すブロック図である。
【図５】図４に示す回路の係数生成部における係数の生成方法を示す説明図である。
【図６】図１に示す映像信号処理回路における長時間露光信号ゲイン、中時間露光信号ゲイン、及び短時間露光信号ゲインを示す説明図である。
【図７】図１に示す映像信号処理回路における長時間露光信号、短時間露光信号、中時間露光信号、及び合成信号と中間入力レベルを示す説明図である。
【図８】図１に示す映像信号処理回路の中時間信号を使った合成部の構成例を示すブロック図である。
【図９】撮像素子から中時間露光信号を直接入力する場合の露光時間を示す説明図である。
【図１０】従来のカメラ装置に設けられる映像信号処理回路の構成例を示すブロック図である。
【図１１】図１０に示す映像信号処理回路による露光時間を示す説明図である。
【図１２】図１０に示す映像信号処理回路のゲイン＋オフセット部を示すブロック図である。
【図１３】図１０に示す映像信号処理回路における長時間露光信号、短時間露光信号、及び合成信号と中間入力レベルを示す説明図である。
【図１４】図１０に示す映像信号処理回路における合成部の構成例を示すブロック図である。
【図１５】図１０に示す映像信号処理回路における長時間露光信号ゲイン、及び短時間露光信号ゲインを示す説明図である。
【図１６】図１０に示す映像信号処理回路における圧縮カーブを示す説明図である。
【符号の説明】
２１……撮像素子、２２……ゲイン＋オフセット回路、２３……多重加算＋メモリ部、２４……合成部、２５……圧縮部、１０１……多重加算部、１０２……フィールドメモリ、１１１、１１２……乗算器、１１３……加算器。

Claims

短時間露光画像と長時間露光画像とを入力する画像入力ステップと、
前記画像入力ステップにより入力した短時間露光画像を数フィールド分多重加算する多重加算ステップと、
前記多重加算ステップによって生成した多重加算画像を中時間露光画像として前記長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成ステップと、
前記画像合成ステップによって合成された画像を圧縮する圧縮ステップと、
を有することを特徴とする映像信号処理方法。
前記多重加算ステップでは、前記短時間露光画像または長時間露光画像またはその両方の数フィールド分の画像から画像内の動的領域を検出し、前記動的領域に対しては前記中時間露光画像の多重加算係数を動的に変更して多重加算を行うことを特徴とする請求項１記載の映像信号処理方法。
短時間露光画像と長時間露光画像とを入力する画像入力手段と、
前記画像入力手段より入力した短時間露光画像を数フィールド分多重加算する多重加算手段と、
前記多重加算手段によって生成した多重加算画像を中時間露光画像として前記画像入力手段より入力した長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成手段と、
前記画像合成手段によって合成された画像を圧縮する圧縮手段と、
を有することを特徴とする映像信号処理回路。
前記多重加算手段は、前記短時間露光画像または長時間露光画像またはその両方の数フィールド分の画像から画像内の動的領域を検出し、前記動的領域に対しては前記中時間露光画像の多重加算係数を動的に変更して多重加算を行うことを特徴とする請求項３記載の映像信号処理回路。
前記多重加算手段は、前記短時間露光画像を格納するフィールドメモリまたはフレームメモリを含むことを特徴とする請求項３記載の映像信号処理回路。
前記画像入力手段は、被写体を撮像する撮像素子からの画像を入力することを特徴とする請求項３記載の映像信号処理回路。
撮像部によって短時間露光画像と長時間露光画像とを入力する画像入力ステップと、
前記画像入力ステップにより入力した短時間露光画像を数フィールド分多重加算する多重加算ステップと、
前記多重加算ステップによって生成した多重加算画像を中時間露光画像として前記長時間露光画像と合成し、広ダイナミックレンジ画像を生成する画像合成ステップと、
前記画像合成ステップによって合成された画像を圧縮する圧縮ステップと、
を有することを特徴とするカメラ装置の駆動方法。
前記多重加算ステップでは、前記短時間露光画像または長時間露光画像またはその両方の数フィールド分の画像から画像内の動的領域を検出し、前記動的領域に対しては前記中時間露光画像の多重加算係数を動的に変更して多重加算を行うことを特徴とする請求項７記載のカメラ装置の駆動方法。