JP3700232B2

JP3700232B2 - Video input device

Info

Publication number: JP3700232B2
Application number: JP02123296A
Authority: JP
Inventors: 雅史山本
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1995-07-28
Filing date: 1996-02-07
Publication date: 2005-09-28
Anticipated expiration: 2016-02-07
Also published as: JPH09102930A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像入力装置に関し、特にＣＣＤカメラ等の撮像手段のダイナミックレンジを広げることができる映像入力装置に関する。
【０００２】
【従来の技術】
車両にＣＣＤカメラを搭載して道路前方の映像を画像処理することにより走行路認識および障害物認識を行なう装置や、ＣＣＤカメラを用いた車両用後方監視装置が知られているが、これらの装置を夜間に使用すると、前方車両や後続車両のヘッドライト部分の映像の輝度情報が飽和してグレアを生じ、画像認識ために必要十分な映像情報を得ることができなかったり、あるいは後方の監視に不都合を生じたりするという問題がある。一方、オートアイリスや電子シャッターの機能を用いて露光量を減少させると、明るい部分の飽和が解消されてグレアを防止することができるが、逆に暗い部分の映像情報が失われてしまうことになる。
【０００３】
これは、一般的なＣＣＤカメラのダイナミックレンジ（Ｓ／Ｎ比）が高々４０dB程度であるのに対し、夜間の道路シーン中の対象物の明るさのレンジは１Lux〜１００，０００Lux 程度（５０dB）の範囲に及ぶためである。すなわち、従来のＣＣＤカメラでは、夜間の道路シーンを撮像するにはダイナミックレンジが不足しており、暗い部分から明るい部分まで一度に映像を入力することは不可能であった。
【０００４】
このため、例えば特開昭６２−２３８４３号に記載された車両用視認補助装置では、特定波長領域の光を車両から照射して、この光によって照射された対象物を上記特定波長領域の光の狭帯域フィルタを介してＣＣＤカメラで撮像することによって、対象物からの光量を減少させることなく、ヘッドライト等の幻惑光の光量のみを減少させるようにしている。
【０００５】
また、車載ＣＣＤカメラのダイナミックレンジを広げる従来技術として、２種類のシャッタースピード、例えば1/60秒と1/100 秒をもって撮像した画像を合成することが知られている。これによって、明るい部分の映像情報が飽和することがないから、グレアを防止することができ、かつ、暗い部分の映像情報もある程度得ることができる。
【０００６】
さらに、暗い部分の映像を鮮明に撮像する従来技術として、電荷蓄積型ＣＣＤカメラを用いることが知られている。この場合は、比較的遅いシャッタースピード（1/30 秒〜１秒）をもって撮像することにより、照明の届かない非常に暗い対象物も、明るく、鮮明な映像を得ることができ、屋外監視用装置として利用されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された技術では、特定波長領域の光の照射装置を必要とする欠点があり、また、上記のＣＣＤカメラのダイナミックレンジを広げる従来技術では、シャッタースピードを遅くしようとしても1/60秒が限度であるため、これによって得た暗い部分の映像情報は十分のものとは言えず、この技術を用いた走行路認識・障害物認識装置あるいは後方監視装置は、夜間性能が不満足なものであった。
【０００８】
さらに、上記電荷蓄積型ＣＣＤカメラを用いた場合は、暗い部分の鮮明な映像を入力できるが、カメラのダイナミックレンジは広がっておらず、このため、明るい部分と暗い部分とが混在するシーンを撮像しようとするとき、明るい部分の映像情報が飽和しないように、かつ、暗い部分の映像情報は鮮明になるように映像を入力することは困難である。
【０００９】
上述の事情に鑑み、本発明は、明るい部分の映像情報が飽和しないようにし、かつ、暗い対象物の映像も明るく、かつ鮮明に撮像することが可能な映像入力装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による映像入力装置は、ＣＣＤカメラのような撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とするものである。
【００１１】
また、上記撮像手段により、複数の画像を一定の露光量をもって撮像してもよいし、あるいは、複数の画像を露光時間を異ならせて撮像してもよい。
【００１２】
さらに、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることが好ましい。
【００１３】
上記フレームメモリは、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリによって構成することができる。
【００１４】
あるいは、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けてもよい。
【００１５】
また、本発明による映像入力装置は、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成することを特徴とするものである。
【００１６】
この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えているものとする。
【００１７】
そして、上記補正手段による輝度値の補正は、下記の式を用いて行なうことができる。
【００１８】
【数２】

【００１９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ：輝度のしきい値
ｎ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
【００２０】
【発明の効果】
本発明によれば、フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えていることにより、画素ごとに最適な露光量をもって映像を入力することができるから、明るい部分の画像を飽和させることなしに、暗い部分の画像に対して露光量を等価的に増大させることができるため、例えば車両のヘッドライトによるグレアを低減しながら、暗い部分の映像を明るく、かつ鮮明に撮像することができる。
【００２１】
また、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を設けた場合は、明るい部分から暗い部分までの輝度情報を連続的に、かつ滑らかに変化させることができるから、自然な画像を得ることができる。
【００２２】
さらに、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けることにより、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリを設ける必要がなくなるから、蓄積枚数の変更に柔軟に対応でき、かつ、処理回路が簡単になる利点がある。
【００２３】
ところで、ＣＣＤ素子の出力には映像信号成分と雑音成分とがあるが、低輝度領域では、映像信号成分に対して雑音成分が相対的に大きい。このため、上述のように、低輝度の画素のフレームメモリへの蓄積枚数を増加させる場合には、低輝度領域の雑音成分も増幅されるから、Ｓ／Ｎ比（映像信号成分／雑音成分）の低下は否めない。
【００２４】
そこで、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を用いて、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は、蓄積時間を長くして信号電荷量を増やした画像の画素情報を用い、高照度部分は蓄積時間が短い画像の画素情報を用いて、画像を合成するとにより、明るい部分の映像を飽和させることなしに、かつ暗い部分の映像を高Ｓ／Ｎ比をもって明るく、より鮮明に撮像することができる。
【００２５】
そして、この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正することにより、自然な画像を得ることができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明による映像入力装置の実施の形態について説明する。
【００２７】
理解を容易にするために、本発明による映像入力装置の第１の実施の形態の構成の説明に先立って、この第１の実施の形態において行なわれる処理について説明する。画像の蓄積枚数ｎは予め設定されているものとして、ここではｎ＝４とする。
【００２８】
先ず、画像を１枚入力する。この１枚目の画像の座標（ｘ，ｙ）における輝度値をＩ₁ （ｘ，ｙ）とする。このとき、明るい部分（ヘッドライトの光の部分）の輝度情報が飽和しないように、電子シャッターのスピードを速くして、もしくはレンズのアイリス（絞り）を絞って、露光量を制御する。この画像では、露光量を少なくしているため、明るい部分の輝度情報は飽和しないが、暗い部分の情報はノイズに埋もれてしまっており、獲得不能である。
【００２９】
次に、２枚目の画像を１枚目と同じ露光量で撮像し、この２枚目の画像の座標（ｘ，ｙ）における輝度値をＩ₂ （ｘ，ｙ）とする。そして、１枚目の画像において輝度値が所定のしきい値Ｔ₁ よりも小さい画素、すなわち、Ｉ₁ （ｘ，ｙ）＜Ｔ₁ となる画素について、Ｉ₁ （ｘ，ｙ）とＩ₂ （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が２枚の画素の輝度値をＪ₂ （ｘ，ｙ）とすると、Ｊ₂ （ｘ，ｙ）は次式で表すことができる。
【００３０】
Ｉ₁ （ｘ，ｙ）＜Ｔ₁ のとき
Ｊ₂ （ｘ，ｙ）＝Ｉ₁ （ｘ，ｙ）＋Ｉ₂ （ｘ，ｙ） (1)
画像を２枚蓄積すると露光量が２倍となるため、蓄積枚数が２枚の画像の輝度値Ｊ₂ は、蓄積しない画像の輝度値Ｊ₁ の２倍となる。したがって、次式が成立する。
【００３１】
Ｊ₁ ＝（1/2 ）Ｊ₂ (2)
ここで、画像の深さを８ビット、すなわち２５６階調とすると、Ｊ₂ （ｘ，ｙ）≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(2) 式より、Ｊ₂ ＝２５６のときＪ₁ ＝１２８となるため、Ｉ₁ （ｘ，ｙ）≧１２８である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ₁ ＝１２８と設定する。
【００３２】
このように画像を２枚足し合わせる（蓄積する）ことにより等価的に露光量を２倍にすることができる（レンズの絞りを開けることと同じ効果が得られる）ため、暗い部分の映像を明るく、かつ鮮明に入力することができる。
【００３３】
しかしながら、画像を２枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、３枚目の画像を１、２枚目と同じ露光量で撮像し、その３枚目の画像の座標（ｘ，ｙ）における輝度値をＩ₃ （ｘ，ｙ）とする。そして、蓄積枚数が２枚の画像において輝度値が所定のしきい値Ｔ₂ よりも小さい画素、すなわち、Ｊ₂ （ｘ，ｙ）＜Ｔ₂ となる画素について、Ｊ₂ （ｘ，ｙ）とＩ₃ （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が３枚の画素の輝度値をＪ₃ （ｘ，ｙ）とすると、Ｊ₃ （ｘ，ｙ）は次式で表すことができる。
【００３４】
Ｊ₂ （ｘ，ｙ）＜Ｔ₂ のとき
Ｊ₃ （ｘ，ｙ）＝Ｊ₂ （ｘ，ｙ）＋Ｉ₃ （ｘ，ｙ）
＝Ｉ₁ （ｘ，ｙ）＋Ｉ₂ （ｘ，ｙ）＋Ｉ₃ （ｘ，ｙ） (3)
蓄積枚数が３枚の画像の露光量は、蓄積枚数が２枚の画像の露光量の3/2 倍となるため、蓄積枚数が３枚の画像の輝度値Ｊ₃ は、蓄積枚数が２枚の画像の輝度値Ｊ₂ の3/2 倍となる。したがって、次式が成立する。
【００３５】
Ｊ₂ ＝(2/3) Ｊ₃ (4)
画像の深さが８ビットであるため、J₃ ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(4) 式より、Ｊ₃ ＝２５６のときＪ₂ ＝１７１となるため、Ｊ₂ （ｘ，ｙ）≧１７１である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ₂ ＝１７１と設定する。
【００３６】
さらに、画像を３枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、４枚目の画像を１〜３枚目と同じ露光量で撮像し、その４枚目の画像の座標（ｘ，ｙ）における画素の輝度値をＩ₄ （ｘ，ｙ）とする。そして、蓄積枚数が３枚の画像において輝度値が所定のしきい値Ｔ₃よりも小さい画素、すなわち、Ｊ₃（ｘ，ｙ）＜Ｔ₃ となる画素について、Ｊ₃ （ｘ，ｙ）とＩ₄ （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積数が４枚の画素の輝度値をＪ₄ （ｘ，ｙ）とすると、Ｊ₄ （ｘ，ｙ）は次式で表すことができる。
【００３７】
Ｊ₃ （ｘ，ｙ）＜Ｔ₃ のとき
Ｊ₄ （ｘ，ｙ）＝Ｊ₃ （ｘ，ｙ）＋Ｉ₄ （ｘ，ｙ）
＝Ｉ₁ （ｘ，ｙ）＋Ｉ₂ （ｘ，ｙ）＋Ｉ₃ （ｘ，ｙ）
＋Ｉ₄（ｘ，ｙ） (5)
蓄積枚数が４枚の画像の露光量は、蓄積枚数が３枚の画像の露光量の4/3 倍となるため、蓄積枚数が４枚の画像の輝度値Ｊ₄ は、蓄積枚数が３枚の画像の輝度値Ｊ₃ の4/3 倍となる。したがって、次式が成立する。
【００３８】
Ｊ₃ ＝(3/4) Ｊ₄ (6)
画像の深さが８ビットであるため、Ｊ₄ ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(6) 式より、Ｊ₄ ＝２５６のときＪ₃ ＝１９２となるため、Ｊ₃ （ｘ，ｙ）≧１９２である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ₃ ＝１９２と設定する。
【００３９】
以上のような処理を行なうと、最も暗い部分の画素の蓄積枚数は４枚となり、明るくなるにつれて蓄積枚数が３枚、２枚、１枚（蓄積なし）となって、画素ごとに蓄積枚数が異なる画像が得られる。そして、蓄積枚数が１枚の画素Ｊ₁ （ｘ，ｙ）、２枚の画素Ｊ₂ （ｘ，ｙ）、３枚の画素Ｊ₃ （ｘ，ｙ）、４枚の画素Ｊ₄ （ｘ，ｙ）の輝度値が採り得る範囲は、それぞれ次の４つの式からなる(7) 式のようになる。
【００４０】
１２８≦Ｊ₁ （ｘ，ｙ）＜２５６
１７１≦Ｊ₂ （ｘ，ｙ）＜２５６ (7)
１９２≦Ｊ₃（ｘ，ｙ）＜２５６
０≦Ｊ₄（ｘ，ｙ）＜２５６
横軸を明るさに、縦軸を輝度値にとって、(7) 式をグラフに描くと図１が得られる。しかしながら、図１のような画素ごとに蓄積枚数が異なる画像では、暗い部分から明るい部分にかけて輝度情報が連続的に変化していないため、自然な画像を得ることができない。そこで、暗い部分から明るい部分にかけて輝度値が滑らかに変化するように、Ｊ₃ ，Ｊ₂ ，Ｊ₁ を補正する。
【００４１】
先ず、輝度値Ｊ₄ とＪ₃ とが連続的に繋がるように、式(8) を用いてＪ₃ を補正する。
【００４２】
Ｊ₃ ′＝２５５＋（Ｊ₃ −１９１） (8)
次に、Ｊ₃ ′とＪ₂ とが連続的に繋がるように、式(9) を用いてＪ₂ を補正する。
【００４３】
Ｊ₂ ′＝２５５＋（２５５−１９１）＋（Ｊ₂ −１７０）
＝３１９＋（Ｊ₂ −１７０） (9)
さらに、Ｊ₂ ′とＪ₁ とが連続的に繋がるように、(10)式を用いてＪ₁ を補正する。
【００４４】
Ｊ₁ ′＝２５５＋（３１９−１７０）＋（Ｊ₁ −１２７）
＝４０４＋（Ｊ₁ −１２７） (10)
以上のようにして、Ｊ₁ ，Ｊ₂ ，Ｊ₃ をそれぞれＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′に補正すると、Ｊ₁ ′，Ｊ₂ ′，Ｊ₃ ′に採り得る範囲は、下記の４つの式からなる(11)式ようになる。
【００４５】
４０５≦Ｊ₁ ′（ｘ，ｙ）＜５３３
３２０≦Ｊ₂ ′（ｘ，ｙ）＜４０５ (11)
２５６≦Ｊ₃ ′（ｘ，ｙ）＜３２０
０≦Ｊ₄ （ｘ，ｙ）＜２５６
再び横軸を明るさに、縦軸を輝度値にとって、(11)式をグラフに描くと図２が得られる。図２から明らかなように、式(8) ，(9) ，(10)を用いて輝度値を補正した画像は、画素間の輝度変化が少なく、輝度が連続的に滑らかに繋がっているため、自然な画像を得ることができる。
【００４６】
最後に５３３階調もある輝度を、次の４つの式からなる(12)式を用いて、フレームメモリの一般的な階調である２５６階調に変換する。
【００４７】
Ｊ₁ ′＝Ｊ₁ ′＊（２５６／５３３）
Ｊ₂ ′＝Ｊ₂ ′＊（２５６／５３３） (12)
Ｊ₃ ′＝Ｊ₃ ′＊（２５６／５３３）
＝Ｊ₄ ＊（２５６／５３３）
以上の処理を施すことにより、図１に示すようにＣＣＤカメラのダイナミックレンジをＤＲ₁ からＤＲ₂ に広げることができる。すなわち、画素ごとに蓄積枚数を変更して、明るい部分（ヘッドライト光）で輝度情報が飽和せず、暗い部分で、明るく、かつ鮮明な映像情報を得ることができる。さらに、必要に応じて、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００４８】
以上説明した本発明の実施の形態は、画像の最大蓄積枚数を４とした場合であるが、蓄積枚数は任意に設定することができ、蓄積枚数をｎとした場合は、各式を次のように変更すればよい。
【００４９】
式(1),(3),(5) Ｊ₁ ＝Ｉ₁
Ｊ_k ＝Ｊ_k-1 ＋Ｉ_k
＝Ｉ₁ ＋Ｉ₂ ＋…＋Ｉ_k
（ただし、ｋ＝１，２，…，ｎ）
式(2),(4),(6) Ｊ_k ＝[k/(k+1)] Ｊ_k+1
（ただし、ｋ＝１，２，…，ｎ−１）
しきい値Ｔ_n Ｔ_k ＝[k/(k+1)] ＊２５６
（ただし、ｋ＝２，…，ｎ−１）
式(7) Ｔ₁ ≦Ｊ₁ （ｘ，ｙ）＜２５６
Ｔ₂ ≦Ｊ₂ （ｘ，ｙ）＜２５６
…
Ｔ_k ≦Ｊ_k （ｘ，ｙ）＜２５６
…
０≦Ｔ_n （ｘ，ｙ）＜２５６
（ただし、ｋ＝１，２，…，ｎ）
【００５０】
【数３】

【００５１】
図３は、以上の処理を施すための映像入力装置の第１の実施の形態の回路例を示すブロック図であり、蓄積枚数ｎ＝４の場合を示す。１はＣＣＤカメラ、２は、電子シャッターまたはレンズのアイリス（絞り）を制御する回路、３はアドレス発生回路である。
【００５２】
ＣＣＤカメラ１で撮像された映像信号はＡ／Ｄ変換器４でデジタル信号に変換され、フレームメモリ５ａ〜５ｄに蓄積されるが、メモリ５ａ（メモリ１）は１枚目の画像（≧１２８）を記憶するメモリ、メモリ５ｂ（メモリ２）は１枚目と２枚目の画像を足し合わせた画像を記憶するメモリ、メモリ５ｃ（メモリ３）は１〜３枚目の画像を足し合わせた画像を記憶するメモリ、メモリ４は１〜４枚目の画像を足し合わせた画像を記憶するメモリである。輝度値Ｊ₁ ，Ｊ₂ ，Ｊ₃ は、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｃでそれぞれ式(8) 〜(10)に基づいてＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′に補正され（図２）、かつＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′およびＪ₄に対してルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄによって式(12)に示す２５６階調への変換がなされる。そして、変換されたＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′およびＪ₄ を合成した映像情報がメモリ７に格納され、かつこのメモリ７から読み出されてＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５３】
なお、図３の回路では、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄにおいて、Ｊ₁ ，Ｊ₂ ，Ｊ₃ をそれぞれＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′に補正し、かつ２５６階調に変換してから、その変換したＪ₁ ′，Ｊ₂ ′，Ｊ₃ ′およびＪ₄ を足し合わせているが、先に足し合わせてから変換を行なってもよい。
【００５４】
図４は、本発明の第２の実施の形態を示すブロック図である。この第２の実施の形態の回路では、蓄積枚数を任意に設定することができるから、映像の蓄積回数の変更に柔軟に対応でき、かつ回路構成がより簡単になる。
【００５５】
図４の回路では、画像を蓄積するための１個のフレームメモリ５を備えており、かつＣＣＤカメラ１からの同期信号を用いて、カウンタ９で蓄積枚数をカウントしている。そして、カウンタ９からの蓄積枚数情報は、しきい値Ｔを記憶しているメモリ１０に与えられ、このメモリ１０から蓄積枚数に対応するしきい値が、比較器１１に出力される。比較器１１では、メモリ５に蓄積されているデータＤと、メモリ１０から出力されるしきい値Ｔとを比較して、比較結果をセレクタ１２に出力する。セレクタ１２では、比較器１１の比較結果がＤ≧Ｔであれば０（データＤ２）を選択し、Ｄ＜Ｔであれば、メモリ５からのデータＤ１を選択する。セレクタ１２の出力は、加算器１３でＡ／Ｄ変換器４の出力に加算されてフレームメモリ５に蓄積されるように構成されている。
【００５６】
すなわち、Ｄ≧Ｔのとき、セレクタ１２が０を選択するという処理は、画素の輝度がしきい値Ｔよりも明るければ映像を足し合わさないという操作になり、Ｄ＜Ｔのとき、セレクタ１２がメモリ５からのデータＤ１を選択するという処理は、画素の輝度がしきい値Ｔよりも暗ければ映像を足し合わせてフレームメモリ５に書き込むという操作になる。そして、メモリ５から読み出された映像情報が一旦メモリ７に蓄積された後、ルックアップ・テーブル６で上述のような補正および変換がなされて、２５６階調の自然な画像に変換され、次いでＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５７】
次に本発明による画像入力装置の第３の実施の形態について説明する。
【００５８】
先ず、第３の実施の形態において行なわれる処理について説明すると、シャッタースピードを変えることができる電子シャッターを備えたＣＣＤカメラを用いて、異なるシャッタースピードで画像を撮像する。例えば、シャッタースピードｔ₁ ，ｔ₂ で撮像した画像をＩ₁ （ｔ₁ ，ｘ，ｙ），Ｉ（ｔ₂ ，ｘ，ｙ）とする。ｔ₁ ，ｔ₂ はｔ₁ ＝Ｎ_t ・ｔ₂ （ただしＮ_t ＞１）なる関係があるとする。すなわち、ｔ₂ の方がシャッタースピードが速い。例えば、ｔ₁ ＝１／６０秒、ｔ₂ ＝１／２４０秒とすると、Ｎ_t ＝４となる。
【００５９】
画像Ｉ₁ （ｔ₁ ，ｘ，ｙ）の中で輝度がしきい値Ｓ₁（例えば、Ｓ₁ ＝２４０）よりも大きい画素について、画像Ｉ（ｔ₂ ，ｘ，ｙ）の輝度値と入れ替える。
【００６０】
Ｉ₁ （ｔ₁ ，ｘ，ｙ）≧Ｓ₁ のとき
Ｊ₁ （ｔ₂ ，ｘ，ｙ）＝Ｉ（ｔ₂ ，ｘ，ｙ）
Ｉ₁ （ｔ₁ ，ｘ，ｙ）＜Ｓ₁ のとき
Ｊ₁ （ｔ₁ ，ｘ，ｙ）＝Ｉ₁ （ｔ₁ ，ｘ，ｙ）
シャッタースピードｔ₁ とｔ₂ との間にはｔ₁ ＝Ｎ_t ・ｔ₂ の関係があるため、画像Ｉ（ｔ₂ ，ｘ，ｙ）の露光量は、画像Ｉ₁ （ｔ₁ ，ｘ，ｙ）の露光量の１／Ｎ_t 倍になっている。すなわち、Ｉ（ｔ₂ ，ｘ，ｙ）＝（１／Ｎ_t）・Ｉ₁ （ｔ₁ ，ｘ，ｙ）となる。したがって、Ｓ₁ ≦Ｉ₁ （ｔ₁ ，ｘ，ｙ）である画素は、次式で示す関係を満たすようになる。
【００６１】
Ｓ₁ ≦Ｉ₁ （ｔ₁ ，ｘ，ｙ）＝Ｎ_t ・Ｉ（ｔ₂ ，ｘ，ｙ）
Ｓ₁ ／Ｎ_t ≦ Ｉ（ｔ₂ ，ｘ，ｙ）＜２５６
Ｓ₁ ／Ｎ_t ≦Ｊ₁ （ｔ₂ ，ｘ，ｙ）＜２５６
このようにすることで、明るい部分はシャッタースピードを速くして露光量を少なくし、輝度情報が飽和することを防ぐことができる。
【００６２】
次に、画像Ｊ₁ （ｘ，ｙ）の中で輝度がしきい値Ｓ₁ よりも小さい画素について蓄積処理を行なう。例えば、蓄積枚数をｎ＝３とする。
【００６３】
シャッタースピードｔ₁ で２枚目の画像Ｉ₂ （ｔ₁ ，ｘ，ｙ）を撮像する。画像Ｊ₁ （ｘ，ｙ）の中で輝度がしきい値Ｔ₁ よりも小さい画素について２枚目の画像の輝度値Ｉ₂ （ｔ₁ ，ｘ，ｙ）を加え、蓄積枚数が２枚の画像Ｊ₂ （ｘ，ｙ）を得る。
【００６４】
Ｊ₁ （ｘ，ｙ）＜Ｔ₁ のとき
Ｊ₂ （ｘ，ｙ）＝Ｊ₁ （ｘ，ｙ）＋Ｉ₂ （ｔ₁ ，ｘ，ｙ）
＝Ｉ₁ （ｔ₁ ，ｘ，ｙ）＋Ｉ₂ （ｔ₁ ，ｘ，ｙ）
Ｔ₁ ≦Ｊ₁ （ｘ，ｙ）＜Ｓ₁ のとき
Ｊ₂ （ｘ，ｙ）＝Ｊ₁ （ｘ，ｙ）
＝Ｉ₁ （ｔ₁ ，ｘ，ｙ）
画像を２枚蓄積することにより等価敵に露光量が２倍となるため、蓄積しない画像の輝度Ｊ₁ （ｔ₁ ）と蓄積枚数が２枚の画像の輝度Ｊ₂ （ｔ₁ ）との間には、理想的にはＪ₂ （ｔ₁ ）＝２Ｊ₁ （ｔ₁ ）の関係が成り立つ。したがって、Ｊ₁ （ｔ₁ ）≧１２８である画像について蓄積を行なうと、蓄積した画像はＪ₂ （ｔ₁ ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ₁ ＝１２８を選ぶ。
【００６５】
さらに、画像Ｊ₂ （ｘ，ｙ）の中で輝度がしきい値Ｔ₂ よりも小さい画素についてさらに蓄積処理を行なう。
【００６６】
シャッタースピードｔ₁ で３枚目の画像Ｉ₃ （ｔ₁ ，ｘ，ｙ）を撮像する。画像Ｊ₂ （ｘ，ｙ）の中で輝度がしきい値Ｔ₂ よりも小さい画素について３枚目の画像の輝度値Ｉ₃ （ｔ₁，ｘ，ｙ）を加え、蓄積枚数が３枚の画像Ｊ₃ （ｘ，ｙ）を得る。
【００６７】
Ｊ₂ （ｘ，ｙ）＜Ｔ₂ のとき
Ｊ₃ （ｘ，ｙ）＝Ｊ₂ （ｘ，ｙ）＋Ｉ₃ （ｔ₁ ，ｘ，ｙ）
＝Ｉ₁ （ｔ₁ ，ｘ，ｙ）＋Ｉ₂ （ｔ₁ ，ｘ，ｙ）
＋Ｉ₃ （ｔ₁ ，ｘ，ｙ）
Ｔ₂ ≦Ｊ₂ （ｘ，ｙ）＜２５６のとき
Ｊ₃ （ｘ，ｙ）＝Ｊ₂（ｘ，ｙ）
＝Ｉ₁ （ｔ₁ ，ｘ，ｙ）＋Ｉ₂ （ｔ₁ ，ｘ，ｙ）
蓄積枚数が２枚の画像の輝度Ｊ₂ （ｔ₁ ）と蓄積枚数が３枚の画像の輝度Ｊ₃（ｔ₁ ）との間には、理想的にはＪ₃ （ｔ₁ ）＝(3/2) Ｊ₂ （ｔ₁ ）の関係が成り立つ。したがって、Ｊ₂ （ｔ₁ ）≧１７１である画像について蓄積を行なうと、蓄積した画像はＪ₃ （ｔ₁ ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ₂ ＝１７１を選ぶ。
【００６８】
以上のように蓄積処理を行なうことにより、等価的に露光量を多くすることができるため、暗い部分の映像を明るく、かつ鮮明に入力することができる。そして、シャッタースピードｔ₁ で撮像した画像Ｉ₁ （ｔ₁ ）の中で輝度がしきい値Ｓ₁ （＝２４０）よりも大きい画素について、シャッタースピードｔ₂ で撮像した画像Ｉ（ｔ₂ ）の輝度値と入れ替えた画素Ｊ₁ （ｔ₂ ）、シャッタースピードｔ₁ で撮像した蓄積枚数が１枚の画素Ｊ₁ （ｔ₁ ）、２枚の画素Ｊ₂ （ｔ₁ ）、３枚の画素Ｊ₃ （ｔ₁ ）の輝度値が採り得る範囲は、下記の式に示すようになる。
【００６９】
６０≦Ｊ₁ （ｔ₂ ）＜２５６
１２８≦Ｊ₁ （ｔ₁ ）＜２４０
１７１≦Ｊ₂（ｔ₁ ）＜２５６
０≦Ｊ₃ （ｔ₁ ）＜２５６
横軸に明るさを、縦軸に輝度値をとってグラフを描くと、図５のようになり、ダイナミックレンジがＤＲ₁ からＤＲ₂ に拡大されているが、輝度値が明るさに対して単調増加していないため、自然な画像が得られない。そこで、前述した第１の実施の形態と同様に、輝度値を補正すると、下記の式に示すようになる。
【００７０】
Ｊ₃ ′（ｔ₁ ）＝Ｊ₃ （ｔ₁ ）
Ｊ₂ ′（ｔ₁ ）＝２５５＋｛Ｊ₂ （ｔ₁ ）−１７０｝
Ｊ₁ ′（ｔ₁ ）＝２５５＋（２５５−１７０）＋｛Ｊ₁ （ｔ₁ ）−１２７｝
＝３４０＋｛Ｊ₁ （ｔ₁ ）−１２７｝
Ｊ₁ ′（ｔ₂ ）＝２３９＋（３４０−１２７）＋｛Ｊ₁ （ｔ₂ ）−５９｝
＝４５２＋｛Ｊ₁ （ｔ₂ ）−５９｝
以上のようにしてＪ₁ （ｔ₂ ），Ｊ₁ （ｔ₁ ），Ｊ₂ （ｔ₁ ）を補正すると、Ｊ₁ ′（ｔ₂ ），Ｊ₁ ′（ｔ₁ ），Ｊ₂ ′（ｔ₁），Ｊ₃ ′（ｔ₁ ）が採り得る範囲は次のようになる。
【００７１】
４５３≦Ｊ₁ ′（ｔ₂ ）＜６４９
３４１≦Ｊ₁ ′（ｔ₁ ）＜４５３
２５６≦Ｊ₂ ′（ｔ₁ ）＜３４１
０≦Ｊ₃ ′（ｔ₁ ）＜２５６
明るさを横軸に、輝度値を縦軸に取りグラフを描くと、図６のようになり、輝度値が連続的に繋がっているため、自然な画像をうることができる。
【００７２】
最後に、次式を用いて、階調を６４９階調から２５６階調へ変換し、その後、必要に応じてヒストグラムの改善を行なえばよい。
【００７３】
Ｊ₁ ′（ｔ₂ ）＝Ｊ₁ ′（ｔ₂ ）＊（２５６／６４９）
Ｊ₁ ′（ｔ₁ ）＝Ｊ₁ ′（ｔ₁ ）＊（２５６／６４９）
Ｊ₂ ′（ｔ₁ ）＝Ｊ₂ ′（ｔ₁ ）＊（２５６／６４９）
Ｊ₃ ′（ｔ₁ ）＝Ｊ₃ ′（ｔ₁ ）＊（２５６／６４９）
以上の処理を行なうことにより、図５に示すようにダイナミックレンジを広げることができる。すなわち、明るい部分は輝度情報が飽和していない映像を、暗い部分は明るく、かつ鮮明な画像を入力することができる。さらに、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００７４】
なお、以上の説明では、蓄積枚数ｎ＝３、シャッタースピードｔ₁ ＝１／６０秒、ｔ₂ ＝１／２４０秒としたが、これは任意に設定することができる。
【００７５】
図７は、本発明による映像入力装置の第３の実施の形態の回路例を示すブロック図である。図７のブロック図では、図４の電子シャッターまたはレンズのアイリス（絞り）を制御する回路２に代えて、シャッタースピード制御回路２０を備えていることと、処理内容が異なることを除いては、図４の回路と同様であるから、対応する要素に同一符号を付し、重複する説明は省略する。
【００７６】
次に、本発明による映像入力装置の第４の実施の形態について説明する。
【００７７】
図８はＣＣＤカメラに用いられるＣＣＤ撮像素子への入射光量と出力信号との関係を表す光電変換特性を両対数グラフで示したものである。図８から明らかなように、低照度領域の撮像限界はアンプ雑音やリセットノイズにより決定される。したがって、暗い被写体を高Ｓ／Ｎ比をもって撮像するためには、これらの雑音を減らすか、あるいはＣＣＤ撮像素子における電荷蓄積時間を長くして、信号電荷量（信号電子数）を増加させることが重要となる。すなわち、電荷蓄積時間を長くすると、信号電荷量が増加することにより、図９に示すように、より低照度の領域の撮像が可能となる。
【００７８】
ところが、電荷蓄積時間を長くすることにより、信号電子数が飽和し始める照度が低くなるため、グレア発生領域が広がってしまう。
【００７９】
そこで、本実施の形態では、電荷蓄積時間ｔを制御することができるＣＣＤカメラを用いて、電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像し、低照度の部分は電荷蓄積時間が長い画像の画素情報を用い、高照度の部分は電荷蓄積時間が短い画像の画素情報を用いて、新しい画像を合成している。合成した新しい画像の光電変換特性は図１０に示すようになり、ヘッドライトの光による飽和がなく、かつ低照度部分は明るく、かつＳ／Ｎ比の高い画像となる。
【００８０】
以下、図１１のタイムチャートを参照しながら、本実施の形態における処理の流れを述べる。
【００８１】
(1) 電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と、電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像しながら以下の処理を行なう（図１１(a) ）
(2) 電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ₁（ｘ，ｙ）とする（ｘ、ｙは画素の座標値）
(3) Ａ／Ｄ変換した画像Ｌ₁ （ｘ，ｙ）をフレームメモリ１へ転送し、書き込む（図１１(b) ）。
【００８２】
(4) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ₁ （ｘ，ｙ）とする(5) Ａ／Ｄ変換した画像Ｓ₁ （ｘ，ｙ）をフレームメモリ１へ転送し、処理(6) を実行する（図１１(b) ）
(6) フレームメモリ１の座標（ｘ，ｙ）に書き込まれている画像Ｌ₁ （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ₁ （ｘ，ｙ）＞Ｔであれば、Ｓ₁ （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ₁ （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ₁ （ｘ，ｙ）を補正処理して再びフレームメモリ１に書き込む。
【００８３】
(7) 次に、電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ₂ （ｘ，ｙ）とする
(8) Ａ／Ｄ変換した画像Ｌ₂ （ｘ，ｙ）をフレームメモリ２へ転送し、書き込む（図１１(d) ）。
【００８４】
(9) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ₂ （ｘ，ｙ）とする
(10)Ａ／Ｄ変換した画像Ｓ₂ （ｘ，ｙ）をフレームメモリ１へ転送し、処理(11)を実行する（図１１(d) ）
(11)フレームメモリ２の座標（ｘ，ｙ）に書き込まれている画像Ｌ₂ （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ₂ （ｘ，ｙ）＞Ｔであれば、Ｓ₂ （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ₂ （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ₂ （ｘ，ｙ）を補正処理して再びフレームメモリ２に書き込む。
【００８５】
(12)以下、(2) 〜(12)の処理を繰り返す
(13)映像出力は、フレームメモリ１で処理 (2)〜(6) を行なっているときにはフレームメモリ２の画像を出力し、フレームメモリ２で処理 (7)〜(11)を行なっているときにはフレームメモリ２の画像を出力する（図１１(c) ，(e)）。
【００８６】
なお、上述の処理では、Ｓ₁ （ｘ，ｙ）またはＬ₁ （ｘ，ｙ）に対して、またＳ₂ （ｘ，ｙ）またはＬ₂ （ｘ，ｙ）に対して補正処理を行なっているが、これら補正処理を施さない場合は、図１０に示すように、照度に対して電子数が単調増加していない。すなわち、明るさに対して輝度値が単調増加してないから、自然な映像が得られない。そこで、前述の実施の形態と同様に、輝度値を補正して自然な映像に変換する。
【００８７】
電荷蓄積時間が長い（例えば、ｔ＝ｎ・ｔ₀ ）画像Ｌ（ｘ，ｙ）と、電荷蓄積時間が短い（例えば、ｔ＝ｔ₀ ）画像Ｓ（ｘ，ｙ）の間には、理想的にはＬ（ｘ，ｙ）＝ｎ・Ｓ（ｘ，ｙ）の関係が成立する。そこで、下記の式を用いて補正画像Ｈ（ｘ，ｙ）を生成する。
【００８８】
【数４】

【００８９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
この補正は、上述の処理 (3)，(6) ，(8) ，(11)で行なう。この補正により、明るさに対して輝度値が単調増加となり、自然な映像が得られる。
【００９０】
図１２は、本発明による映像入力装置の第４の実施の形態の回路例を示すブロック図である。図１２のブロック図では、電荷蓄積時間ｔを制御することができるＣＣＤカメラ４１のために蓄積時間制御回路４２を設け、これをコントローラ４０でコントロールする。
【００９１】
ＣＣＤカメラ４１から出力される映像信号は、Ａ／Ｄ変換器４３でＡ／Ｄ変換されて、演算回路４４ａを経てフレームメモリ４５ａ（フレームメモリ１）に転送されるとともに、上述の補正演算を行なう演算回路４４ｂを経てフレームメモリ４５ｂ（フレームメモリ２）に転送される。また、ＣＣＤカメラ４１から出力される映像信号に含まれる同期信号は、垂直・水平同期分離回路４６で分離されてアドレス発生回路４７に与えられ、ここで、フレームメモリ４５ａ，４５ｂのためのアドレス信号が作成される。
【００９２】
フレームメモリ４５ａ，４５ｂからそれぞれ読み出された蓄積時間が長い画像Ｌ₁ （ｘ，ｙ），Ｌ₂ （ｘ，ｙ）の画素情報は比較器４８ａ，４８ｂでそれぞれでしきい値Ｔと比較され、その比較結果によりメモリコントローラ４９ａ，４９ｂが演算回路４４ａ，４４ｂをそれぞれ制御して、上述の式に従って補正を行なわせるとともに、メモリコントローラ４９ａ，４９ｂがフレームメモリ４５ａ，４５ｂの動作をそれぞれ制御する。図１１のタイミングチャートに示すように、交互に出力されるフレームメモリ４５ａ，４５ｂの出力は、Ｄ／Ａ変換器５０でＤ／Ａされて外部に出力される。Ａ／Ｄ変換器４３およびＤ／Ａ変換器５０には、ドットクロック発生回路５１からクロック信号が与えられる。
【図面の簡単な説明】
【図１】本発明による映像入力装置の第１の実施の形態における処理の説明に供するグラフ
【図２】本発明による映像入力装置の第１の実施の形態における処理において輝度値を補正したグラフ
【図３】本発明による映像入力装置の第１の実施の形態の回路構成を示すブロック図
【図４】本発明による映像入力装置の第２の実施の形態の回路構成を示すブロック図
【図５】本発明による映像入力装置の第３の実施の形態における処理の説明に供するグラフ
【図６】本発明による映像入力装置の第３の実施の形態における処理において輝度値を補正したグラフ
【図７】本発明による映像入力装置の第３の実施の形態の回路構成を示すブロック図
【図８】ＣＣＤ撮像素子の光電変換特性を示すグラフ
【図９】電荷蓄積時間を長くしたときの光電変換特性を示すグラフ
【図１０】本発明による映像入力装置の第４の実施の形態における光電変換特性を示すグラフ
【図１１】本発明による映像入力装置の第４の実施の形態における処理のタイミングチャート
【図１２】本発明による映像入力装置の第４の実施の形態の回路構成を示すブロック図
【符号の説明】
１，４１ＣＣＤカメラ
２電子シャッターまたはオートアイリス制御回路
３，４７アドレス発生回路
４，４３Ａ／Ｄ変換器
５，５ａ〜５ｄ，７，４５ａ，４５ｂフレームメモリ
６，６ａ〜６ｄルックアップ・テーブル
８，５０Ｄ／Ａ変換器
９カウンタ
１０メモリ
１１，４８ａ，４８ｂ比較器
１２セレクタ
１３加算器
２０シャッタースピード制御回路
４０コントローラ
４２電荷蓄積時間制御回路
４４ａ，４４ｂ演算回路
４９ａ，４９ｂメモリコントローラ[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a video input device, and more particularly to a video input device capable of widening the dynamic range of an imaging means such as a CCD camera.
[0002]
[Prior art]
  There are known a device for recognizing a traveling path and obstacles by mounting a CCD camera on a vehicle and processing an image of a road ahead, and a vehicle rear monitoring device using a CCD camera. When the camera is used at night, the brightness information of the images of the headlights of the preceding vehicle and the following vehicle is saturated and glare occurs, so that sufficient image information necessary for image recognition cannot be obtained, or for rear monitoring. There is a problem of inconvenience. On the other hand, if the exposure is reduced using the auto iris or electronic shutter functions, saturation of bright areas can be eliminated and glare can be prevented, but video information in dark areas will be lost. .
[0003]
  This is because the dynamic range (S / N ratio) of a general CCD camera is at most about 40 dB, while the brightness range of an object in a night road scene is about 1 Lux to 100,000 Lux (50 dB). This is because it covers a range of. That is, the conventional CCD camera has a dynamic range that is insufficient to capture a night road scene, and it is impossible to input an image from a dark part to a bright part at a time.
[0004]
  For this reason, for example, in the vehicular visual aid described in Japanese Patent Application Laid-Open No. Sho 62-23843, light in a specific wavelength region is irradiated from the vehicle, and an object irradiated by this light is emitted from the light in the specific wavelength region. By imaging with a CCD camera through a narrow band filter, only the light amount of the illusion light such as a headlight is reduced without reducing the light amount from the object.
[0005]
  Further, as a conventional technique for expanding the dynamic range of an in-vehicle CCD camera, it is known to synthesize images captured at two types of shutter speeds, for example, 1/60 seconds and 1/100 seconds. Thereby, since the video information of the bright part is not saturated, the glare can be prevented and the video information of the dark part can be obtained to some extent.
[0006]
  Further, it is known to use a charge storage type CCD camera as a conventional technique for clearly capturing an image of a dark part. In this case, by taking an image with a relatively slow shutter speed (from 1/30 seconds to 1 second), even a very dark object that does not reach illumination can obtain a bright and clear image. It is used as.
[0007]
[Problems to be solved by the invention]
  However, the technique described in the above publication has a drawback that it requires a light irradiation device in a specific wavelength region, and the conventional technique for expanding the dynamic range of the above-mentioned CCD camera has a disadvantage that even if it is attempted to reduce the shutter speed. / 60 seconds is the limit, so it cannot be said that the video information of the dark part obtained by this is sufficient, and the road performance recognition / obstacle recognition device or the backward monitoring device using this technology is unsatisfactory at night performance It was something.
[0008]
  Furthermore, when the charge storage type CCD camera is used, a clear image of a dark part can be input, but the dynamic range of the camera is not widened, so that a scene in which a bright part and a dark part are mixed is imaged. When trying to do so, it is difficult to input the video so that the video information in the bright part is not saturated and the video information in the dark part is clear.
[0009]
  In view of the above-described circumstances, an object of the present invention is to provide a video input device that prevents video information in a bright part from being saturated and also enables a bright and clear image of a dark object to be captured. To do.
[0010]
[Means for Solving the Problems]
  A video input device according to the present invention is a video input device that stores an image in a frame memory while capturing an image by an imaging unit such as a CCD camera, and synthesizes the image stored in the frame memory.
  The number of stored images is stored in the frame memory, and the number of stored images is changed for each pixel in accordance with the luminance value of the pixel in such a manner that the number of stored images is increased as the pixel has lower luminance. To do.
[0011]
  In addition, a plurality of images may be picked up with a constant exposure amount by the image pickup means, or a plurality of images may be picked up with different exposure times.
[0012]
  Furthermore, it is preferable to include a correction unit that corrects the luminance value so that the luminance change is reduced between pixels with different numbers of accumulated images or between pixels that are captured with different exposure times.
[0013]
  The frame memory can be composed of a plurality of frame memories in which different storage numbers are fixedly set.
[0014]
  Alternatively, a counter for counting the number of accumulated images, a comparator for comparing the luminance value of the pixel accumulated in the frame memory with a predetermined threshold value, and based on the comparison by the comparator, You may provide the adder which adds the luminance value of the pixel which has small brightness | luminance to the luminance value accumulate | stored in the said frame memory.
[0015]
  The video input device according to the present invention includes charge storage type imaging means capable of controlling the charge storage time, stores the image in the frame memory while capturing the image by the imaging means, and stores the image in the frame memory. An image input device for synthesizing images, comprising a control means for controlling a charge accumulation time in the imaging means, and an image having a long accumulation time and a short time by the imaging means under the control of the charge accumulation time by the control means. The image is obtained alternately, and the low illuminance part uses the pixel information of the image with a long accumulation time, and the high illuminance part uses the pixel information of the image with a short accumulation time to synthesize the image. Is.
[0016]
  Also in this case, there is provided a correcting means for correcting the luminance value so that the luminance change between the pixels of the image having a long accumulation time and the image having a short accumulation time is reduced.Shall be.
[0017]
  And the correction | amendment of the luminance value by the said correction | amendment means can be performed using the following formula | equation.
[0018]
[Expression 2]

[0019]
  Where L (x, y): luminance value at the coordinates (x, y) of the image with a long accumulation time
        S (x, y): luminance value at the coordinates (x, y) of the image with a short accumulation time
        H (x, y): luminance value at the coordinates (x, y) of the corrected image
                T: threshold of luminance
                n: Ratio of accumulation time between an image having a long accumulation time and a short image (n> 1)
[0020]
【The invention's effect】
  According to the present invention, the number of stored images is stored in the frame memory, and the number of stored images is changed for each pixel in accordance with the luminance value of the pixel in such a manner that the number of stored images increases as the luminance of the pixel decreases. Therefore, since an image can be input with an optimum exposure amount for each pixel, the exposure amount can be equivalently increased with respect to an image in a dark portion without saturating an image in a bright portion. For this reason, for example, it is possible to brightly and clearly capture an image of a dark portion while reducing glare due to a vehicle headlight.
[0021]
  In addition, when correction means is provided to correct the brightness value so that the change in brightness is reduced between pixels with different numbers of stored images or pixels with different exposure times, the brightness from bright to dark Since information can be changed continuously and smoothly, a natural image can be obtained.
[0022]
  In addition, a counter for counting the number of accumulated images, a comparator for comparing the luminance values of the pixels accumulated in the frame memory with a predetermined threshold, and based on the comparison by the comparator, By providing an adder that adds the luminance value of a pixel having a small luminance to the luminance value accumulated in the frame memory, it is not necessary to provide a plurality of frame memories in which different numbers of accumulated images are fixedly set. There is an advantage that the number of stored sheets can be flexibly changed and the processing circuit can be simplified.
[0023]
  By the way, there are a video signal component and a noise component in the output of the CCD element, but the noise component is relatively larger than the video signal component in the low luminance region. Therefore, as described above, when increasing the number of low-luminance pixels stored in the frame memory, the noise component in the low-luminance region is also amplified, so the S / N ratio (video signal component / noise component). I cannot deny the decline.
[0024]
  Therefore, using charge storage type imaging means with controllable charge storage time, images with long storage time and short images were alternately obtained, and the signal charge amount was increased by increasing the storage time for the low illuminance part. By using the pixel information of the image, the high illuminance portion uses the pixel information of the image having a short accumulation time, and the image is synthesized, so that the image of the dark portion is not saturated and the image of the dark portion is high S / N. It is bright with a ratio and can be imaged more clearly.
[0025]
  In this case as well, a natural image can be obtained by correcting the luminance value so that the luminance change is small between the pixels of the image having a long accumulation time and the image having a short accumulation time.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
  Embodiments of a video input device according to the present invention will be described below with reference to the drawings.
[0027]
  In order to facilitate understanding, prior to the description of the configuration of the first embodiment of the video input device according to the present invention, the processing performed in the first embodiment will be described. Assume that the number n of stored images is preset, and n = 4 here.
[0028]
  First, one image is input. The luminance value at the coordinates (x, y) of this first image is expressed as I₁ Let (x, y). At this time, the exposure amount is controlled by increasing the speed of the electronic shutter or by reducing the iris of the lens so that the luminance information of the bright part (headlight light part) is not saturated. In this image, since the exposure amount is reduced, the luminance information of the bright part is not saturated, but the information of the dark part is buried in noise and cannot be acquired.
[0029]
  Next, the second image is captured with the same exposure amount as the first image, and the luminance value at the coordinates (x, y) of the second image is expressed as I.₂ Let (x, y). The luminance value in the first image is a predetermined threshold value T.₁ Smaller pixels, ie I₁ (X, y) <T₁ For the pixel₁ (X, y) and I₂ Add (x, y). The luminance value of the pixel having two accumulated images obtained in this way is expressed as J.₂ If (x, y), then J₂ (X, y) can be expressed by the following equation.
[0030]
    I₁ (X, y) <T₁ When
         J₂ (X, y) = I₁ (X, y) + I₂ (X, y) (1)
  When two images are stored, the exposure amount is doubled, so the brightness value J of the image with two stored images₂ Is the luminance value J of the image that is not stored₁ Twice as much. Therefore, the following equation is established.
[0031]
                J₁ = (1/2) J₂                                 (2)
  Here, if the depth of the image is 8 bits, that is, 256 gradations, J₂ When (x, y) ≧ 256, the luminance information of the pixel at the coordinate (x, y) is saturated. From equation (2), J₂ = 256 when J₁ = 128, so I₁ If pixels with (x, y) ≧ 128 are accumulated, luminance information is saturated. Therefore, the threshold value T₁ = 128 is set.
[0032]
  By adding (accumulating) two images in this way, the amount of exposure can be equivalently doubled (the same effect as opening the aperture of the lens can be obtained). And clear input.
[0033]
  However, even if two images are added together, there are pixels in which the amount of exposure is insufficient and the luminance information is buried in noise. Therefore, the third image is captured with the same exposure amount as the first and second images, and the luminance value at the coordinates (x, y) of the third image is expressed as I._Three Let (x, y). Then, the luminance value is a predetermined threshold value T in an image having two stored images.₂ Smaller pixels, ie J₂ (X, y) <T₂ J₂ (X, y) and I_Three Add (x, y). The luminance value of the pixel having three accumulated images obtained in this way is expressed as J._Three If (x, y), then J_Three (X, y) can be expressed by the following equation.
[0034]
    J₂ (X, y) <T₂ When
          J_Three (X, y) = J₂ (X, y) + I_Three (X, y)
              = I₁ (X, y) + I₂ (X, y) + I_Three (X, y) (3)
  Since the exposure amount of an image with 3 accumulated images is 3/2 times the exposure amount of 2 images, the brightness value J of the image with 3 accumulated images_Three Is the brightness value J of an image with two stored images₂ 3/2 times the Therefore, the following equation is established.
[0035]
                  J₂ = (2/3) J_Three                                 (Four)
  Since the depth of the image is 8 bits, J_Three When ≧ 256, the luminance information of the pixel at the coordinates (x, y) is saturated. From equation (4), J_Three = 256 when J₂ = 171, so J₂ If pixels with (x, y) ≧ 171 are accumulated, luminance information is saturated. Therefore, the threshold value T₂ = 171.
[0036]
  Furthermore, even if three images are added together, there are pixels in which the amount of exposure is insufficient and the luminance information is buried in noise. Therefore, the fourth image is captured with the same exposure amount as the first to third images, and the luminance value of the pixel at the coordinates (x, y) of the fourth image is set to I._Four Let (x, y). Then, the luminance value is a predetermined threshold value T in an image having three stored images._ThreeSmaller pixels, ie J_Three(X, y) <T_Three J_Three (X, y) and I_Four Add (x, y). The accumulated value obtained in this way is the luminance value of the four pixels J_Four If (x, y), then J_Four (X, y) can be expressed by the following equation.
[0037]
    J_Three (X, y) <T_Three When
          J_Four (X, y) = J_Three (X, y) + I_Four (X, y)
                  = I₁ (X, y) + I₂ (X, y) + I_Three (X, y)
                  + I_Four(X, y) (5)
  Since the exposure amount of an image with 4 stored images is 4/3 times the exposure amount of 3 images, the brightness value J of the image with 4 stored images_Four Is the brightness value J of an image with 3 stored images_Three 4/3 times as much. Therefore, the following equation is established.
[0038]
                  J_Three = (3/4) J_Four                                  (6)
  Since the image depth is 8 bits, J_Four When ≧ 256, the luminance information of the pixel at the coordinates (x, y) is saturated. From equation (6), J_Four = 256 when J_Three = 192, so J_Three If pixels with (x, y) ≧ 192 are accumulated, the luminance information is saturated. Therefore, the threshold value T_Three = 192.
[0039]
  When the above processing is performed, the number of accumulated pixels in the darkest part is 4, and as the brightness increases, the accumulated number is 3, 2, and 1 (no accumulation). Different images are obtained. Then, the pixel J with the accumulated number is one.₁ (X, y) Two pixels J₂ (X, y) 3 pixels J_Three (X, y) 4 pixels J_Four The range that the luminance value of (x, y) can take is as shown in equation (7) consisting of the following four equations.
[0040]
                  128 ≦ J₁ (X, y) <256
                  171 ≦ J₂ (X, y) <256 (7)
                  192 ≦ J_Three(X, y) <256
                      0 ≦ J_Four(X, y) <256
  Drawing the equation (7) on a graph with the horizontal axis as the brightness and the vertical axis as the luminance value yields FIG. However, in an image in which the number of accumulated images is different for each pixel as shown in FIG. 1, since the luminance information does not continuously change from a dark part to a bright part, a natural image cannot be obtained. Therefore, in order for the brightness value to change smoothly from dark to bright,_Three , J₂ , J₁ Correct.
[0041]
  First, the luminance value J_Four And J_Three So that they are connected continuously using equation (8)_Three Correct.
[0042]
                  J_Three ′ = 255 + (J_Three -191) (8)
  Next, J_Three ′ And J₂ So that they are connected continuously using equation (9)₂ Correct.
[0043]
                  J₂ '= 255 + (255-191) + (J₂ -170)
                       = 319 + (J₂ −170) (9)
  In addition, J₂ ′ And J₁ So that they are continuously connected to each other using equation (10)₁ Correct.
[0044]
                  J₁ '= 255 + (319-170) + (J₁ -127)
                       = 404 + (J₁ -127) (10)
  J₁ , J₂ , J_Three J₁ ', J₂ ', J_Three When corrected to ′, J₁ ', J₂ ', J_Three The range that can be taken as ′ is the following four formulas (11).
[0045]
                405 ≦ J₁ '(X, y) <533
                320 ≦ J₂ '(X, y) <405 (11)
                256 ≦ J_Three '(X, y) <320
                    0 ≦ J_Four (X, y) <256
  FIG. 2 is obtained by drawing the equation (11) on the graph with the horizontal axis representing brightness and the vertical axis representing luminance value. As is clear from FIG. 2, the luminance value corrected using the equations (8), (9), and (10) has little luminance change between pixels, and the luminance is continuously and smoothly connected. , Natural images can be obtained.
[0046]
  Finally, the luminance having 533 gradations is converted into 256 gradations, which are general gradations of the frame memory, using the following equation (12) consisting of the following four expressions.
[0047]
                  J₁ '= J₁ ′ * (256/533)
                  J₂ '= J₂ * (256/533) (12)
                  J_Three '= J_Three ′ * (256/533)
                        = J_Four * (256/533)
  By performing the above processing, the dynamic range of the CCD camera is reduced to DR as shown in FIG.₁ To DR₂ Can be spread. That is, by changing the number of accumulated pixels for each pixel, it is possible to obtain bright and clear video information in a dark part without saturation of luminance information in a bright part (headlight light). Furthermore, if necessary, the contrast of dark portions can be increased by improving the histogram.
[0048]
  The embodiment of the present invention described above is for the case where the maximum number of stored images is 4. However, the number of stored images can be arbitrarily set. When the number of stored images is n, the following equations are used. It should be changed as follows.
[0049]
  Formula (1), (3), (5) J₁ = I₁
                    J_k = J_k-1 + I_k
                        = I₁ + I₂ + ... + I_k
                                (Where k = 1, 2,..., N)
  Formula (2), (4), (6) J_k = [K / (k + 1)] J_{k + 1}
                                (Where k = 1, 2,..., N−1)
  Threshold T_n T_k = [K / (k + 1)] * 256
                                (However, k = 2, ..., n-1)
  Equation (7) T₁ ≦ J₁ (X, y) <256
                   T₂ ≦ J₂ (X, y) <256
                               …
                   T_k ≦ J_k (X, y) <256
                               …
                     0 ≦ T_n (X, y) <256
                               (Where k = 1, 2,..., N)
[0050]
[Equation 3]

[0051]
  FIG. 3 is a block diagram showing a circuit example of the first embodiment of the video input apparatus for performing the above processing, and shows a case where the number of stored sheets n = 4. Reference numeral 1 denotes a CCD camera, 2 denotes a circuit for controlling an electronic shutter or lens iris (aperture), and 3 denotes an address generation circuit.
[0052]
  The video signal picked up by the CCD camera 1 is converted into a digital signal by the A / D converter 4 and stored in the frame memories 5a to 5d, but the memory 5a (memory 1) stores the first image (≧ 128). A memory 5b (memory 2) is a memory that stores an image obtained by adding the first and second images, and a memory 5c (memory 3) is an image obtained by adding the first to third images. The memory 4 is a memory for storing an image obtained by adding the first to fourth images. Luminance value J₁ , J₂ , J_Three Is based on the equations (8) to (10) in the lookup tables (LUT) 6a to 6c, respectively.₁ ', J₂ ', J_Three (Fig. 2) and J₁ ', J₂ ', J_Three ′ And J_FourOn the other hand, conversion to 256 gradations shown in Expression (12) is performed by look-up tables (LUT) 6a to 6d. And the converted J₁ ', J₂ ', J_Three ′ And J_Four Is stored in the memory 7, read out from the memory 7, converted into analog information by the D / A converter 8, and output.
[0053]
  In the circuit shown in FIG. 3, in the lookup tables (LUT) 6a to 6d, J₁ , J₂ , J_Three J₁ ', J₂ ', J_Three ′ And converted to 256 tones, then the converted J₁ ', J₂ ', J_Three ′ And J_Four However, conversion may be performed after adding together.
[0054]
  FIG. 4 is a block diagram showing a second embodiment of the present invention. In the circuit according to the second embodiment, the number of stored images can be set arbitrarily, so that it is possible to flexibly cope with a change in the number of stored images and the circuit configuration becomes simpler.
[0055]
  In the circuit of FIG. 4, one frame memory 5 for storing images is provided, and the number of stored images is counted by a counter 9 using a synchronization signal from the CCD camera 1. Then, the accumulated number information from the counter 9 is given to the memory 10 storing the threshold value T, and the threshold value corresponding to the accumulated number is output from the memory 10 to the comparator 11. The comparator 11 compares the data D stored in the memory 5 with the threshold value T output from the memory 10 and outputs the comparison result to the selector 12. The selector 12 selects 0 (data D2) if the comparison result of the comparator 11 is D ≧ T, and selects data D1 from the memory 5 if D <T. The output of the selector 12 is added to the output of the A / D converter 4 by the adder 13 and stored in the frame memory 5.
[0056]
  That is, when D ≧ T, the process of selecting 0 by the selector 12 is an operation that the video is not added if the luminance of the pixel is higher than the threshold value T. When D <T, the selector 12 The process of selecting the data D1 from the memory 5 is an operation of adding the video and writing it in the frame memory 5 if the luminance of the pixel is darker than the threshold value T. Then, after the video information read from the memory 5 is temporarily stored in the memory 7, the above correction and conversion are performed in the lookup table 6 to convert it into a natural image of 256 gradations, and then It is converted into analog information by the D / A converter 8 and output.
[0057]
  Next, a third embodiment of the image input apparatus according to the present invention will be described.
[0058]
  First, the processing performed in the third embodiment will be described. Images are captured at different shutter speeds using a CCD camera equipped with an electronic shutter that can change the shutter speed. For example, shutter speed t₁ , T₂ The image captured with₁ (T₁ , X, y), I (t₂ , X, y). t₁ , T₂ Is t₁ = N_t ・ T₂ (However, N_t > 1). That is, t₂ The shutter speed is faster. For example, t₁ = 1/60 seconds, t₂ = 1/240 seconds, N_t = 4.
[0059]
  Image I₁ (T₁ , X, y) has a threshold value S₁(For example, S₁ For pixels larger than = 240), the image I (t₂ , X, y).
[0060]
      I₁ (T₁ , X, y) ≧ S₁ When
            J₁ (T₂ , X, y) = I (t₂ , X, y)
      I₁ (T₁ , X, y) <S₁ When
            J₁ (T₁ , X, y) = I₁ (T₁ , X, y)
  Shutter speed t₁ And t₂ Between₁ = N_t ・ T₂ Therefore, the image I (t₂ , X, y) is determined by the image I₁ (T₁ , X, y) 1 / N of the exposure amount_t It has doubled. That is, I (t₂ , X, y) = (1 / N_t) ・ I₁ (T₁ , X, y). Therefore, S₁ ≦ I₁ (T₁ , X, y) satisfies the relationship expressed by the following equation.
[0061]
        S₁ ≦ I₁ (T₁ , X, y) = N_t ・ I (t₂ , X, y)
        S₁ / N_t ≤ I (t₂ , X, y) <256
        S₁ / N_t ≦ J₁ (T₂ , X, y) <256
  By doing so, it is possible to prevent the brightness information from being saturated by increasing the shutter speed and reducing the exposure amount in a bright part.
[0062]
  Next, image J₁ The luminance is the threshold value S in (x, y)₁ The accumulation process is performed for smaller pixels. For example, the number of accumulated sheets is n = 3.
[0063]
  Shutter speed t₁ In the second image I₂ (T₁ , X, y). Image J₁ The luminance is the threshold value T in (x, y)₁ Luminance value I of the second image for smaller pixels₂ (T₁ , X, y), and an image J having two stored images₂ (X, y) is obtained.
[0064]
        J₁ (X, y) <T₁ When
            J₂ (X, y) = J₁ (X, y) + I₂ (T₁ , X, y)
                          = I₁ (T₁ , X, y) + I₂ (T₁ , X, y)
        T₁ ≦ J₁ (X, y) <S₁ When
            J₂ (X, y) = J₁ (X, y)
                          = I₁ (T₁ , X, y)
  By accumulating two images, the exposure amount is doubled to the equivalent enemy.₁ (T₁ ) And the brightness J of an image with two stored images₂ (T₁ ) Between J₂ (T₁ ) = 2J₁ (T₁ ). Therefore, J₁ (T₁ ) When accumulation is performed for an image with ≧ 128, the accumulated image is J₂ (T₁ ) ≧ 256, which is saturated. So, T₁ = 128 is selected.
[0065]
  Furthermore, image J₂ The luminance is the threshold value T in (x, y)₂ Further accumulation processing is performed for smaller pixels.
[0066]
  Shutter speed t₁ In the third image I_Three (T₁ , X, y). Image J₂ The luminance is the threshold value T in (x, y)₂ The luminance value I of the third image for smaller pixels_Three (T₁, X, y), and an image J having three stored images_Three (X, y) is obtained.
[0067]
    J₂ (X, y) <T₂ When
          J_Three (X, y) = J₂ (X, y) + I_Three (T₁ , X, y)
                        = I₁ (T₁ , X, y) + I₂ (T₁ , X, y)
                        + I_Three (T₁ , X, y)
    T₂ ≦ J₂ When (x, y) <256
          J_Three (X, y) = J₂(X, y)
                        = I₁ (T₁ , X, y) + I₂ (T₁ , X, y)
  Luminance J of images with two stored images₂ (T₁ ) And brightness J of an image with 3 stored images_Three(T₁ ) Between J_Three (T₁ ) = (3/2) J₂ (T₁ ). Therefore, J₂ (T₁ ) When accumulation is performed for an image of ≧ 171, the accumulated image is J_Three (T₁ ) ≧ 256, which is saturated. So, T₂ = 171 is selected.
[0068]
  By performing the accumulation process as described above, the amount of exposure can be equivalently increased, so that a video in a dark part can be input brightly and clearly. And shutter speed t₁ Image I taken with₁ (T₁ ) Is the threshold value S₁ For pixels larger than (= 240), the shutter speed t₂ I (t₂ Pixel J replaced with the brightness value of₁ (T₂ ), Shutter speed t₁ Pixel J with one stored image taken in₁ (T₁ ) Two pixels J₂ (T₁ ) 3 pixels J_Three (T₁ The range in which the luminance value can be taken is as shown in the following equation.
[0069]
            60 ≦ J₁ (T₂ ) <256
          128 ≦ J₁ (T₁ <240
          171 ≦ J₂(T₁ ) <256
              0 ≦ J_Three (T₁ ) <256
  Drawing the graph with brightness on the horizontal axis and luminance value on the vertical axis gives a graph as shown in FIG.₁ To DR₂ However, since the luminance value does not monotonously increase with respect to the brightness, a natural image cannot be obtained. Thus, as in the first embodiment described above, when the luminance value is corrected, the following equation is obtained.
[0070]
  J_Three ′ (T₁ ) = J_Three (T₁ )
  J₂ ′ (T₁ ) = 255 + {J₂ (T₁ ) -170}
  J₁ ′ (T₁ ) = 255 + (255-170) + {J₁ (T₁ ) -127}
                = 340 + {J₁ (T₁ ) -127}
  J₁ ′ (T₂ ) = 239 + (340-127) + {J₁ (T₂ ) -59}
                = 452 + {J₁ (T₂ ) -59}
  J₁ (T₂ ), J₁ (T₁ ), J₂ (T₁ )₁ ′ (T₂ ), J₁ ′ (T₁ ), J₂ ′ (T₁), J_Three ′ (T₁ ) Is as follows.
[0071]
              453 ≦ J₁ ′ (T₂ ) <649
              341 ≦ J₁ ′ (T₁ ) <453
              256 ≦ J₂ ′ (T₁ ) <341
                  0 ≦ J_Three ′ (T₁ ) <256
  When a graph is drawn with the brightness on the horizontal axis and the luminance value on the vertical axis, the result is as shown in FIG. 6 and the luminance values are continuously connected, so that a natural image can be obtained.
[0072]
  Finally, the gradation may be converted from 649 gradations to 256 gradations using the following formula, and then the histogram may be improved as necessary.
[0073]
              J₁ ′ (T₂ ) = J₁ ′ (T₂ ) * (256/649)
              J₁ ′ (T₁ ) = J₁ ′ (T₁ ) * (256/649)
              J₂ ′ (T₁ ) = J₂ ′ (T₁ ) * (256/649)
              J_Three ′ (T₁ ) = J_Three ′ (T₁ ) * (256/649)
  By performing the above processing, the dynamic range can be expanded as shown in FIG. That is, it is possible to input an image in which luminance information is not saturated in a bright portion, and a bright and clear image in a dark portion. Furthermore, the contrast of dark parts can be increased by improving the histogram.
[0074]
  In the above description, the number of stored sheets n = 3 and the shutter speed t₁ = 1/60 seconds, t₂ = 1/240 seconds, but this can be set arbitrarily.
[0075]
  FIG. 7 is a block diagram showing a circuit example of the video input device according to the third embodiment of the present invention. In the block diagram of FIG. 7, except that the electronic shutter or lens iris (aperture) control circuit 2 shown in FIG. 4 is replaced by a shutter speed control circuit 20 and the processing contents are different. Since it is the same as that of the circuit of FIG.
[0076]
  Next, a fourth embodiment of the video input device according to the present invention will be described.
[0077]
  FIG. 8 is a logarithmic graph showing photoelectric conversion characteristics representing the relationship between the amount of light incident on a CCD image sensor used in a CCD camera and the output signal. As is apparent from FIG. 8, the imaging limit in the low illuminance region is determined by amplifier noise and reset noise. Therefore, in order to image a dark subject with a high S / N ratio, it is possible to reduce these noises or increase the charge accumulation time in the CCD image sensor to increase the signal charge amount (number of signal electrons). It becomes important. In other words, if the charge accumulation time is lengthened, the signal charge amount increases, so that it is possible to image a region with lower illuminance as shown in FIG.
[0078]
  However, by increasing the charge accumulation time, the illuminance at which the number of signal electrons begins to saturate decreases, and therefore the glare generation region widens.
[0079]
  Therefore, in the present embodiment, an image having a long charge accumulation time (for example, t = 4/30 sec) and an image having a short charge accumulation time (for example, t) are used by using a CCD camera capable of controlling the charge accumulation time t. = 1/60 sec) alternately, and the low illuminance part uses the pixel information of the image with a long charge accumulation time, and the high illuminance part uses the pixel information of the image with a short charge accumulation time to create a new image. Synthesizing. The photoelectric conversion characteristic of the synthesized new image is as shown in FIG. 10, and there is no saturation due to the light of the headlight, the low illuminance portion is bright, and the image has a high S / N ratio.
[0080]
  Hereinafter, the flow of processing in the present embodiment will be described with reference to the time chart of FIG.
[0081]
  (1) The following processing is performed while alternately capturing an image having a long charge accumulation time (for example, t = 4/30 sec) and an image having a short charge accumulation time (for example, t = 1/60 sec) (FIG. 11). (a))
  (2) Take an image with a long charge accumulation time and perform A / D conversion. This image is L₁(X, y) (x and y are pixel coordinate values)
  (3) A / D converted image L₁ (X, y) is transferred to the frame memory 1 and written (FIG. 11 (b)).
[0082]
  (4) Next, an image with a short charge accumulation time is taken and A / D conversion is performed. S₁ (5) A / D converted image S₁ (X, y) is transferred to the frame memory 1 and the process (6) is executed (FIG. 11 (b)).
  (6) Image L written at coordinates (x, y) in frame memory 1₁ The luminance value of the pixel (x, y) is compared with a predetermined threshold value T, and L₁ If (x, y)> T, then S₁ After (x, y) is corrected (described later), it is written in the coordinates (x, y) of the frame memory 1. L₁ If (x, y) ≦ T, the written L₁ (X, y) is corrected and written into the frame memory 1 again.
[0083]
  (7) Next, an image having a long charge accumulation time is taken and A / D conversion is performed. This image is L₂ (X, y)
  (8) A / D converted image L₂ (X, y) is transferred to the frame memory 2 and written (FIG. 11 (d)).
[0084]
  (9) Next, an image with a short charge accumulation time is taken and A / D conversion is performed. S₂ (X, y)
  (10) A / D converted image S₂ (X, y) is transferred to the frame memory 1 and the process (11) is executed (FIG. 11 (d)).
  (11) The image L written at the coordinates (x, y) of the frame memory 2₂ The luminance value of the pixel (x, y) is compared with a predetermined threshold value T, and L₂ If (x, y)> T, then S₂ After (x, y) is corrected (described later), it is written in the coordinates (x, y) of the frame memory 1. L₂ If (x, y) ≦ T, the written L₂ (X, y) is corrected and written into the frame memory 2 again.
[0085]
  (12) Repeat steps (2) to (12) below
  (13) For video output, when the processing (2) to (6) is performed in the frame memory 1, the image of the frame memory 2 is output, and when the processing (7) to (11) is performed in the frame memory 2. The image in the frame memory 2 is output (FIGS. 11C and 11E).
[0086]
  In the above process, S₁ (X, y) or L₁ For (x, y) and S₂ (X, y) or L₂ Although correction processing is performed on (x, y), when these correction processing is not performed, the number of electrons does not monotonously increase with respect to illuminance as shown in FIG. That is, since the luminance value does not monotonously increase with respect to the brightness, a natural image cannot be obtained. Therefore, as in the above-described embodiment, the luminance value is corrected and converted into a natural image.
[0087]
  Charge accumulation time is long (for example, t = n · t₀ ) Image L (x, y) and short charge accumulation time (for example, t = t₀ ) Ideally, the relationship of L (x, y) = n · S (x, y) is established between the images S (x, y). Therefore, a corrected image H (x, y) is generated using the following equation.
[0088]
[Expression 4]

[0089]
  Where L (x, y): luminance value at the coordinates (x, y) of the image with a long accumulation time
        S (x, y): luminance value at the coordinates (x, y) of the image with a short accumulation time
        H (x, y): luminance value at the coordinates (x, y) of the corrected image
  This correction is performed in the above processes (3), (6), (8), and (11). By this correction, the luminance value monotonously increases with respect to the brightness, and a natural image can be obtained.
[0090]
  FIG. 12 is a block diagram showing a circuit example of the video input device according to the fourth embodiment of the present invention. In the block diagram of FIG. 12, an accumulation time control circuit 42 is provided for the CCD camera 41 capable of controlling the charge accumulation time t, and this is controlled by the controller 40.
[0091]
  The video signal output from the CCD camera 41 is A / D converted by the A / D converter 43, transferred to the frame memory 45a (frame memory 1) through the arithmetic circuit 44a, and performs the above correction calculation. The data is transferred to the frame memory 45b (frame memory 2) via the arithmetic circuit 44b. The synchronization signal included in the video signal output from the CCD camera 41 is separated by the vertical / horizontal synchronization separation circuit 46 and applied to the address generation circuit 47. Here, the address signal for the

frame memories

45a and 45b is provided. Is created.
[0092]
An image L having a long accumulation time read from each of the

frame memories

45a and 45b.₁ (X, y), L₂ The pixel information of (x, y) is compared with the threshold value T by the

comparators

48a and 48b, respectively, and the

memory controllers

49a and 49b control the arithmetic circuits 44a and 44b, respectively, according to the comparison results. The correction is performed and the

memory controllers

49a and 49b control the operations of the

frame memories

45a and 45b, respectively. As shown in the timing chart of FIG. 11, the outputs of the

frame memories

45a and 45b that are alternately output are D / A output by the D / A converter 50 and output to the outside. A clock signal is supplied from the dot clock generation circuit 51 to the A / D converter 43 and the D / A converter 50.
[Brief description of the drawings]
FIG. 1 is a graph for explaining processing in a first embodiment of a video input device according to the present invention;
FIG. 2 is a graph in which the luminance value is corrected in the processing in the first embodiment of the video input device according to the present invention;
FIG. 3 is a block diagram showing a circuit configuration of the video input device according to the first embodiment of the present invention.
FIG. 4 is a block diagram showing a circuit configuration of a video input device according to a second embodiment of the present invention.
FIG. 5 is a graph for explaining processing in the third embodiment of the video input device according to the present invention;
FIG. 6 is a graph in which the luminance value is corrected in the processing of the video input device according to the third embodiment of the present invention.
FIG. 7 is a block diagram showing a circuit configuration of a video input device according to a third embodiment of the present invention.
FIG. 8 is a graph showing photoelectric conversion characteristics of a CCD image sensor
FIG. 9 is a graph showing photoelectric conversion characteristics when the charge accumulation time is lengthened.
FIG. 10 is a graph showing photoelectric conversion characteristics in the video input device according to the fourth embodiment of the present invention.
FIG. 11 is a timing chart of processing in the fourth embodiment of the video input device according to the present invention;
FIG. 12 is a block diagram showing a circuit configuration of a video input device according to a fourth embodiment of the present invention.
[Explanation of symbols]
      1,41 CCD camera
      2 Electronic shutter or auto iris control circuit
      3,47 Address generation circuit
      4,43 A / D converter
      5, 5a to 5d, 7, 45a, 45b Frame memory
      6, 6a-6d Look-up table
      8,50 D / A converter
      9 counter
      10 memory
      11, 48a, 48b comparator
      12 Selector
      13 Adder
      20 Shutter speed control circuit
      40 controller
      42 Charge accumulation time control circuit
      44a, 44b arithmetic circuit
      49a, 49b Memory controller

Claims

撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とする映像入力装置。A video input device that accumulates the image in a frame memory while capturing the image by an imaging means, and synthesizes the image accumulated in the frame memory,
The number of stored images is stored in the frame memory in such a manner that the number of stored images is increased as the luminance of the pixels decreases, and the number of stored images is changed for each pixel according to the luminance value of the pixels. Video input device.

上記撮像手段により、複数の画像が一定の露光量をもって撮像されることを特徴とする請求項１記載の映像入力装置。 The video input apparatus according to claim 1, wherein a plurality of images are captured with a constant exposure amount by the imaging means.

蓄積枚数の異なる画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項２記載の映像入力装置。 3. The video input apparatus according to claim 2, further comprising correction means for correcting a luminance value so that a luminance change is reduced between pixels having different accumulation numbers.

上記撮像手段により、複数の画像が露光時間を異ならせて撮像されることを特徴とする請求項１記載の映像入力装置。 2. The video input apparatus according to claim 1, wherein a plurality of images are picked up with different exposure times by the image pickup means.

露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項４記載の映像入力装置。 5. The video input device according to claim 4, further comprising correction means for correcting a luminance value so that a change in luminance is reduced between pixels picked up with different exposure times.

上記フレームメモリが、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリよりなることを特徴とする請求項２または４記載の映像入力装置。 5. The video input device according to claim 2, wherein the frame memory is composed of a plurality of frame memories in which different storage numbers are fixedly set.

上記蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、該比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを備えてなることを特徴とする請求項２または４記載の映像入力装置。 A counter that counts the number of stored images, a comparator that compares the luminance values of the pixels stored in the frame memory with a predetermined threshold value, and is smaller than the threshold value based on the comparison by the comparator 5. The video input device according to claim 2, further comprising an adder for adding a luminance value of a pixel having luminance to a luminance value stored in the frame memory.

電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成するとともに、
上記蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることを特徴とする映像入力装置。 A video input device comprising charge storage type image pickup means capable of controlling charge storage time, storing the image in a frame memory while taking an image by the image pickup means, and combining the images stored in the frame memory. ,
A control means for controlling the charge accumulation time in the imaging means, and under the control of the charge accumulation time by the control means, an image having a long accumulation time and a short image are alternately obtained by the imaging means, Uses the pixel information of the image with a long accumulation time, and the high illuminance part uses the pixel information of the image with a short accumulation time to synthesize an image ,
A video input apparatus comprising: a correcting unit that corrects a luminance value so that a luminance change is small between pixels of the image having a long accumulation time and a short image .

上記補正手段が、下記の式を用いて輝度値を補正することを特徴とする請求項８記載の映像入力装置。

但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ：輝度のしきい値
ｎ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）9. The video input device according to claim 8 , wherein the correction means corrects the luminance value using the following equation.

Where L (x, y): luminance value at the coordinates (x, y) of the image having a long accumulation time S (x, y): luminance value at the coordinates (x, y) of the image having a short accumulation time H (x, y) y): luminance value at coordinates (x, y) of the corrected image
T: threshold of luminance
n: Ratio of accumulation times of images with long accumulation times and short images (n> 1)