JP3700232B2 - 映像入力装置 - Google Patents
映像入力装置 Download PDFInfo
- Publication number
- JP3700232B2 JP3700232B2 JP02123296A JP2123296A JP3700232B2 JP 3700232 B2 JP3700232 B2 JP 3700232B2 JP 02123296 A JP02123296 A JP 02123296A JP 2123296 A JP2123296 A JP 2123296A JP 3700232 B2 JP3700232 B2 JP 3700232B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- images
- video input
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像入力装置に関し、特にＣＣＤカメラ等の撮像手段のダイナミックレンジを広げることができる映像入力装置に関する。
【０００２】
【従来の技術】
車両にＣＣＤカメラを搭載して道路前方の映像を画像処理することにより走行路認識および障害物認識を行なう装置や、ＣＣＤカメラを用いた車両用後方監視装置が知られているが、これらの装置を夜間に使用すると、前方車両や後続車両のヘッドライト部分の映像の輝度情報が飽和してグレアを生じ、画像認識ために必要十分な映像情報を得ることができなかったり、あるいは後方の監視に不都合を生じたりするという問題がある。一方、オートアイリスや電子シャッターの機能を用いて露光量を減少させると、明るい部分の飽和が解消されてグレアを防止することができるが、逆に暗い部分の映像情報が失われてしまうことになる。
【０００３】
これは、一般的なＣＣＤカメラのダイナミックレンジ（Ｓ／Ｎ比）が高々４０dB程度であるのに対し、夜間の道路シーン中の対象物の明るさのレンジは１Lux〜１００，０００Lux 程度（５０dB）の範囲に及ぶためである。すなわち、従来のＣＣＤカメラでは、夜間の道路シーンを撮像するにはダイナミックレンジが不足しており、暗い部分から明るい部分まで一度に映像を入力することは不可能であった。
【０００４】
このため、例えば特開昭６２−２３８４３号に記載された車両用視認補助装置では、特定波長領域の光を車両から照射して、この光によって照射された対象物を上記特定波長領域の光の狭帯域フィルタを介してＣＣＤカメラで撮像することによって、対象物からの光量を減少させることなく、ヘッドライト等の幻惑光の光量のみを減少させるようにしている。
【０００５】
また、車載ＣＣＤカメラのダイナミックレンジを広げる従来技術として、２種類のシャッタースピード、例えば1/60秒と1/100 秒をもって撮像した画像を合成することが知られている。これによって、明るい部分の映像情報が飽和することがないから、グレアを防止することができ、かつ、暗い部分の映像情報もある程度得ることができる。
【０００６】
さらに、暗い部分の映像を鮮明に撮像する従来技術として、電荷蓄積型ＣＣＤカメラを用いることが知られている。この場合は、比較的遅いシャッタースピード（1/30 秒〜１秒）をもって撮像することにより、照明の届かない非常に暗い対象物も、明るく、鮮明な映像を得ることができ、屋外監視用装置として利用されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された技術では、特定波長領域の光の照射装置を必要とする欠点があり、また、上記のＣＣＤカメラのダイナミックレンジを広げる従来技術では、シャッタースピードを遅くしようとしても1/60秒が限度であるため、これによって得た暗い部分の映像情報は十分のものとは言えず、この技術を用いた走行路認識・障害物認識装置あるいは後方監視装置は、夜間性能が不満足なものであった。
【０００８】
さらに、上記電荷蓄積型ＣＣＤカメラを用いた場合は、暗い部分の鮮明な映像を入力できるが、カメラのダイナミックレンジは広がっておらず、このため、明るい部分と暗い部分とが混在するシーンを撮像しようとするとき、明るい部分の映像情報が飽和しないように、かつ、暗い部分の映像情報は鮮明になるように映像を入力することは困難である。
【０００９】
上述の事情に鑑み、本発明は、明るい部分の映像情報が飽和しないようにし、かつ、暗い対象物の映像も明るく、かつ鮮明に撮像することが可能な映像入力装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による映像入力装置は、ＣＣＤカメラのような撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とするものである。
【００１１】
また、上記撮像手段により、複数の画像を一定の露光量をもって撮像してもよいし、あるいは、複数の画像を露光時間を異ならせて撮像してもよい。
【００１２】
さらに、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることが好ましい。
【００１３】
上記フレームメモリは、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリによって構成することができる。
【００１４】
あるいは、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けてもよい。
【００１５】
また、本発明による映像入力装置は、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、 上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成することを特徴とするものである。
【００１６】
この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えているものとする。
【００１７】
そして、上記補正手段による輝度値の補正は、下記の式を用いて行なうことができる。
【００１８】
【数２】
【００１９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ ：輝度のしきい値
ｎ ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
【００２０】
【発明の効果】
本発明によれば、フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えていることにより、画素ごとに最適な露光量をもって映像を入力することができるから、明るい部分の画像を飽和させることなしに、暗い部分の画像に対して露光量を等価的に増大させることができるため、例えば車両のヘッドライトによるグレアを低減しながら、暗い部分の映像を明るく、かつ鮮明に撮像することができる。
【００２１】
また、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を設けた場合は、明るい部分から暗い部分までの輝度情報を連続的に、かつ滑らかに変化させることができるから、自然な画像を得ることができる。
【００２２】
さらに、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けることにより、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリを設ける必要がなくなるから、蓄積枚数の変更に柔軟に対応でき、かつ、処理回路が簡単になる利点がある。
【００２３】
ところで、ＣＣＤ素子の出力には映像信号成分と雑音成分とがあるが、低輝度領域では、映像信号成分に対して雑音成分が相対的に大きい。このため、上述のように、低輝度の画素のフレームメモリへの蓄積枚数を増加させる場合には、低輝度領域の雑音成分も増幅されるから、Ｓ／Ｎ比（映像信号成分／雑音成分）の低下は否めない。
【００２４】
そこで、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を用いて、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は、蓄積時間を長くして信号電荷量を増やした画像の画素情報を用い、高照度部分は蓄積時間が短い画像の画素情報を用いて、画像を合成するとにより、明るい部分の映像を飽和させることなしに、かつ暗い部分の映像を高Ｓ／Ｎ比をもって明るく、より鮮明に撮像することができる。
【００２５】
そして、この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正することにより、自然な画像を得ることができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明による映像入力装置の実施の形態について説明する。
【００２７】
理解を容易にするために、本発明による映像入力装置の第１の実施の形態の構成の説明に先立って、この第１の実施の形態において行なわれる処理について説明する。画像の蓄積枚数ｎは予め設定されているものとして、ここではｎ＝４とする。
【００２８】
先ず、画像を１枚入力する。この１枚目の画像の座標（ｘ，ｙ）における輝度値をＩ1 （ｘ，ｙ）とする。このとき、明るい部分（ヘッドライトの光の部分）の輝度情報が飽和しないように、電子シャッターのスピードを速くして、もしくはレンズのアイリス（絞り）を絞って、露光量を制御する。この画像では、露光量を少なくしているため、明るい部分の輝度情報は飽和しないが、暗い部分の情報はノイズに埋もれてしまっており、獲得不能である。
【００２９】
次に、２枚目の画像を１枚目と同じ露光量で撮像し、この２枚目の画像の座標（ｘ，ｙ）における輝度値をＩ2 （ｘ，ｙ）とする。そして、１枚目の画像において輝度値が所定のしきい値Ｔ1 よりも小さい画素、すなわち、Ｉ1 （ｘ，ｙ）＜Ｔ1 となる画素について、Ｉ1 （ｘ，ｙ）とＩ2 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が２枚の画素の輝度値をＪ2 （ｘ，ｙ）とすると、Ｊ2 （ｘ，ｙ）は次式で表すことができる。
【００３０】
Ｉ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ） (1)
画像を２枚蓄積すると露光量が２倍となるため、蓄積枚数が２枚の画像の輝度値Ｊ2 は、蓄積しない画像の輝度値Ｊ1 の２倍となる。したがって、次式が成立する。
【００３１】
Ｊ1 ＝（1/2 ）Ｊ2 (2)
ここで、画像の深さを８ビット、すなわち２５６階調とすると、Ｊ2 （ｘ，ｙ）≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(2) 式より、Ｊ2 ＝２５６のときＪ1 ＝１２８となるため、Ｉ1 （ｘ，ｙ）≧１２８である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ1 ＝１２８と設定する。
【００３２】
このように画像を２枚足し合わせる（蓄積する）ことにより等価的に露光量を２倍にすることができる（レンズの絞りを開けることと同じ効果が得られる）ため、暗い部分の映像を明るく、かつ鮮明に入力することができる。
【００３３】
しかしながら、画像を２枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、３枚目の画像を１、２枚目と同じ露光量で撮像し、その３枚目の画像の座標（ｘ，ｙ）における輝度値をＩ3 （ｘ，ｙ）とする。そして、蓄積枚数が２枚の画像において輝度値が所定のしきい値Ｔ2 よりも小さい画素、すなわち、Ｊ2 （ｘ，ｙ）＜Ｔ2 となる画素について、Ｊ2 （ｘ，ｙ）とＩ3 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が３枚の画素の輝度値をＪ3 （ｘ，ｙ）とすると、Ｊ3 （ｘ，ｙ）は次式で表すことができる。
【００３４】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ） (3)
蓄積枚数が３枚の画像の露光量は、蓄積枚数が２枚の画像の露光量の3/2 倍となるため、蓄積枚数が３枚の画像の輝度値Ｊ3 は、蓄積枚数が２枚の画像の輝度値Ｊ2 の3/2 倍となる。したがって、次式が成立する。
【００３５】
Ｊ2 ＝(2/3) Ｊ3 (4)
画像の深さが８ビットであるため、J3 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(4) 式より、Ｊ3 ＝２５６のときＪ2 ＝１７１となるため、Ｊ2 （ｘ，ｙ）≧１７１である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ2 ＝１７１と設定する。
【００３６】
さらに、画像を３枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、４枚目の画像を１〜３枚目と同じ露光量で撮像し、その４枚目の画像の座標（ｘ，ｙ）における画素の輝度値をＩ4 （ｘ，ｙ）とする。そして、蓄積枚数が３枚の画像において輝度値が所定のしきい値Ｔ3 よりも小さい画素、すなわち、Ｊ3 （ｘ，ｙ）＜Ｔ3 となる画素について、Ｊ3 （ｘ，ｙ）とＩ4 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積数が４枚の画素の輝度値をＪ4 （ｘ，ｙ）とすると、Ｊ4 （ｘ，ｙ）は次式で表すことができる。
【００３７】
Ｊ3 （ｘ，ｙ）＜Ｔ3 のとき
Ｊ4 （ｘ，ｙ）＝Ｊ3 （ｘ，ｙ）＋Ｉ4 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＋Ｉ4 （ｘ，ｙ） (5)
蓄積枚数が４枚の画像の露光量は、蓄積枚数が３枚の画像の露光量の4/3 倍となるため、蓄積枚数が４枚の画像の輝度値Ｊ4 は、蓄積枚数が３枚の画像の輝度値Ｊ3 の4/3 倍となる。したがって、次式が成立する。
【００３８】
Ｊ3 ＝(3/4) Ｊ4 (6)
画像の深さが８ビットであるため、Ｊ4 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(6) 式より、Ｊ4 ＝２５６のときＪ3 ＝１９２となるため、Ｊ3 （ｘ，ｙ）≧１９２である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ3 ＝１９２と設定する。
【００３９】
以上のような処理を行なうと、最も暗い部分の画素の蓄積枚数は４枚となり、明るくなるにつれて蓄積枚数が３枚、２枚、１枚（蓄積なし）となって、画素ごとに蓄積枚数が異なる画像が得られる。そして、蓄積枚数が１枚の画素Ｊ1 （ｘ，ｙ）、２枚の画素Ｊ2 （ｘ，ｙ）、３枚の画素Ｊ3 （ｘ，ｙ）、４枚の画素Ｊ4 （ｘ，ｙ）の輝度値が採り得る範囲は、それぞれ次の４つの式からなる(7) 式のようになる。
【００４０】
１２８≦Ｊ1 （ｘ，ｙ）＜２５６
１７１≦Ｊ2 （ｘ，ｙ）＜２５６ (7)
１９２≦Ｊ3 （ｘ，ｙ）＜２５６
０≦Ｊ4 （ｘ，ｙ）＜２５６
横軸を明るさに、縦軸を輝度値にとって、(7) 式をグラフに描くと図１が得られる。しかしながら、図１のような画素ごとに蓄積枚数が異なる画像では、暗い部分から明るい部分にかけて輝度情報が連続的に変化していないため、自然な画像を得ることができない。そこで、暗い部分から明るい部分にかけて輝度値が滑らかに変化するように、Ｊ3 ，Ｊ2 ，Ｊ1 を補正する。
【００４１】
先ず、輝度値Ｊ4 とＪ3 とが連続的に繋がるように、式(8) を用いてＪ3 を補正する。
【００４２】
Ｊ3 ′＝２５５＋（Ｊ3 −１９１） (8)
次に、Ｊ3 ′とＪ2 とが連続的に繋がるように、式(9) を用いてＪ2 を補正する。
【００４３】
Ｊ2 ′＝２５５＋（２５５−１９１）＋（Ｊ2 −１７０）
＝３１９＋（Ｊ2 −１７０） (9)
さらに、Ｊ2 ′とＪ1 とが連続的に繋がるように、(10)式を用いてＪ1 を補正する。
【００４４】
Ｊ1 ′＝２５５＋（３１９−１７０）＋（Ｊ1 −１２７）
＝４０４＋（Ｊ1 −１２７） (10)
以上のようにして、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正すると、Ｊ1 ′，Ｊ2 ′，Ｊ3 ′に採り得る範囲は、下記の４つの式からなる(11)式ようになる。
【００４５】
４０５≦Ｊ1 ′（ｘ，ｙ）＜５３３
３２０≦Ｊ2 ′（ｘ，ｙ）＜４０５ (11)
２５６≦Ｊ3 ′（ｘ，ｙ）＜３２０
０≦Ｊ4 （ｘ，ｙ）＜２５６
再び横軸を明るさに、縦軸を輝度値にとって、(11)式をグラフに描くと図２が得られる。図２から明らかなように、式(8) ，(9) ，(10)を用いて輝度値を補正した画像は、画素間の輝度変化が少なく、輝度が連続的に滑らかに繋がっているため、自然な画像を得ることができる。
【００４６】
最後に５３３階調もある輝度を、次の４つの式からなる(12)式を用いて、フレームメモリの一般的な階調である２５６階調に変換する。
【００４７】
Ｊ1 ′＝Ｊ1 ′＊（２５６／５３３）
Ｊ2 ′＝Ｊ2 ′＊（２５６／５３３） (12)
Ｊ3 ′＝Ｊ3 ′＊（２５６／５３３）
＝Ｊ4 ＊（２５６／５３３）
以上の処理を施すことにより、図１に示すようにＣＣＤカメラのダイナミックレンジをＤＲ1 からＤＲ2 に広げることができる。すなわち、画素ごとに蓄積枚数を変更して、明るい部分（ヘッドライト光）で輝度情報が飽和せず、暗い部分で、明るく、かつ鮮明な映像情報を得ることができる。さらに、必要に応じて、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００４８】
以上説明した本発明の実施の形態は、画像の最大蓄積枚数を４とした場合であるが、蓄積枚数は任意に設定することができ、蓄積枚数をｎとした場合は、各式を次のように変更すればよい。
【００４９】
式(1),(3),(5) Ｊ1 ＝Ｉ1
Ｊk ＝Ｊk-1 ＋Ｉk
＝Ｉ1 ＋Ｉ2 ＋…＋Ｉk
（ただし、ｋ＝１，２，…，ｎ）
式(2),(4),(6) Ｊk ＝[k/(k+1)] Ｊk+1
（ただし、ｋ＝１，２，…，ｎ−１）
しきい値Ｔn Ｔk ＝[k/(k+1)] ＊２５６
（ただし、ｋ＝２，…，ｎ−１）
式(7) Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜２５６
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６
…
Ｔk ≦Ｊk （ｘ，ｙ）＜２５６
…
０≦Ｔn （ｘ，ｙ）＜２５６
（ただし、ｋ＝１，２，…，ｎ）
【００５０】
【数３】
【００５１】
図３は、以上の処理を施すための映像入力装置の第１の実施の形態の回路例を示すブロック図であり、蓄積枚数ｎ＝４の場合を示す。１はＣＣＤカメラ、２は、電子シャッターまたはレンズのアイリス（絞り）を制御する回路、３はアドレス発生回路である。
【００５２】
ＣＣＤカメラ１で撮像された映像信号はＡ／Ｄ変換器４でデジタル信号に変換され、フレームメモリ５ａ〜５ｄに蓄積されるが、メモリ５ａ（メモリ１）は１枚目の画像（≧１２８）を記憶するメモリ、メモリ５ｂ（メモリ２）は１枚目と２枚目の画像を足し合わせた画像を記憶するメモリ、メモリ５ｃ（メモリ３）は１〜３枚目の画像を足し合わせた画像を記憶するメモリ、メモリ４は１〜４枚目の画像を足し合わせた画像を記憶するメモリである。輝度値Ｊ1 ，Ｊ2 ，Ｊ3 は、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｃでそれぞれ式(8) 〜(10)に基づいてＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正され（図２）、かつＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 に対してルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄによって式(12)に示す２５６階調への変換がなされる。そして、変換されたＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を合成した映像情報がメモリ７に格納され、かつこのメモリ７から読み出されてＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５３】
なお、図３の回路では、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄにおいて、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正し、かつ２５６階調に変換してから、その変換したＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を足し合わせているが、先に足し合わせてから変換を行なってもよい。
【００５４】
図４は、本発明の第２の実施の形態を示すブロック図である。この第２の実施の形態の回路では、蓄積枚数を任意に設定することができるから、映像の蓄積回数の変更に柔軟に対応でき、かつ回路構成がより簡単になる。
【００５５】
図４の回路では、画像を蓄積するための１個のフレームメモリ５を備えており、かつＣＣＤカメラ１からの同期信号を用いて、カウンタ９で蓄積枚数をカウントしている。そして、カウンタ９からの蓄積枚数情報は、しきい値Ｔを記憶しているメモリ１０に与えられ、このメモリ１０から蓄積枚数に対応するしきい値が、比較器１１に出力される。比較器１１では、メモリ５に蓄積されているデータＤと、メモリ１０から出力されるしきい値Ｔとを比較して、比較結果をセレクタ１２に出力する。セレクタ１２では、比較器１１の比較結果がＤ≧Ｔであれば０（データＤ２）を選択し、Ｄ＜Ｔであれば、メモリ５からのデータＤ１を選択する。セレクタ１２の出力は、加算器１３でＡ／Ｄ変換器４の出力に加算されてフレームメモリ５に蓄積されるように構成されている。
【００５６】
すなわち、Ｄ≧Ｔのとき、セレクタ１２が０を選択するという処理は、画素の輝度がしきい値Ｔよりも明るければ映像を足し合わさないという操作になり、Ｄ＜Ｔのとき、セレクタ１２がメモリ５からのデータＤ１を選択するという処理は、画素の輝度がしきい値Ｔよりも暗ければ映像を足し合わせてフレームメモリ５に書き込むという操作になる。そして、メモリ５から読み出された映像情報が一旦メモリ７に蓄積された後、ルックアップ・テーブル６で上述のような補正および変換がなされて、２５６階調の自然な画像に変換され、次いでＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５７】
次に本発明による画像入力装置の第３の実施の形態について説明する。
【００５８】
先ず、第３の実施の形態において行なわれる処理について説明すると、シャッタースピードを変えることができる電子シャッターを備えたＣＣＤカメラを用いて、異なるシャッタースピードで画像を撮像する。例えば、シャッタースピードｔ1 ，ｔ2 で撮像した画像をＩ1 （ｔ1 ，ｘ，ｙ），Ｉ（ｔ2 ，ｘ，ｙ）とする。ｔ1 ，ｔ2 はｔ1 ＝Ｎt ・ｔ2 （ただしＮt ＞１）なる関係があるとする。すなわち、ｔ2 の方がシャッタースピードが速い。例えば、ｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒とすると、Ｎt ＝４となる。
【００５９】
画像Ｉ1 （ｔ1 ，ｘ，ｙ）の中で輝度がしきい値Ｓ1 （例えば、Ｓ1 ＝２４０）よりも大きい画素について、画像Ｉ（ｔ2 ，ｘ，ｙ）の輝度値と入れ替える。
【００６０】
Ｉ1 （ｔ1 ，ｘ，ｙ）≧Ｓ1 のとき
Ｊ1 （ｔ2 ，ｘ，ｙ）＝Ｉ（ｔ2 ，ｘ，ｙ）
Ｉ1 （ｔ1 ，ｘ，ｙ）＜Ｓ1 のとき
Ｊ1 （ｔ1 ，ｘ，ｙ）＝Ｉ1 （ｔ1 ，ｘ，ｙ）
シャッタースピードｔ1 とｔ2 との間にはｔ1 ＝Ｎt ・ｔ2 の関係があるため、画像Ｉ（ｔ2 ，ｘ，ｙ）の露光量は、画像Ｉ1 （ｔ1 ，ｘ，ｙ）の露光量の１／Ｎt 倍になっている。すなわち、Ｉ（ｔ2 ，ｘ，ｙ）＝（１／Ｎt ）・Ｉ1 （ｔ1 ，ｘ，ｙ）となる。したがって、Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）である画素は、次式で示す関係を満たすようになる。
【００６１】
Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）＝Ｎt ・Ｉ（ｔ2 ，ｘ，ｙ）
Ｓ1 ／Ｎt ≦ Ｉ（ｔ2 ，ｘ，ｙ）＜２５６
Ｓ1 ／Ｎt ≦Ｊ1 （ｔ2 ，ｘ，ｙ）＜２５６
このようにすることで、明るい部分はシャッタースピードを速くして露光量を少なくし、輝度情報が飽和することを防ぐことができる。
【００６２】
次に、画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｓ1 よりも小さい画素について蓄積処理を行なう。例えば、蓄積枚数をｎ＝３とする。
【００６３】
シャッタースピードｔ1 で２枚目の画像Ｉ2 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｔ1 よりも小さい画素について２枚目の画像の輝度値Ｉ2 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が２枚の画像Ｊ2 （ｘ，ｙ）を得る。
【００６４】
Ｊ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜Ｓ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）
画像を２枚蓄積することにより等価敵に露光量が２倍となるため、蓄積しない画像の輝度Ｊ1 （ｔ1 ）と蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）との間には、理想的にはＪ2 （ｔ1 ）＝２Ｊ1 （ｔ1 ）の関係が成り立つ。したがって、Ｊ1 （ｔ1 ）≧１２８である画像について蓄積を行なうと、蓄積した画像はＪ2 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ1 ＝１２８を選ぶ。
【００６５】
さらに、画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素についてさらに蓄積処理を行なう。
【００６６】
シャッタースピードｔ1 で３枚目の画像Ｉ3 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素について３枚目の画像の輝度値Ｉ3 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が３枚の画像Ｊ3 （ｘ，ｙ）を得る。
【００６７】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＋Ｉ3 （ｔ1 ，ｘ，ｙ）
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）と蓄積枚数が３枚の画像の輝度Ｊ3（ｔ1 ）との間には、理想的にはＪ3 （ｔ1 ）＝(3/2) Ｊ2 （ｔ1 ）の関係が成り立つ。したがって、Ｊ2 （ｔ1 ）≧１７１である画像について蓄積を行なうと、蓄積した画像はＪ3 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ2 ＝１７１を選ぶ。
【００６８】
以上のように蓄積処理を行なうことにより、等価的に露光量を多くすることができるため、暗い部分の映像を明るく、かつ鮮明に入力することができる。そして、シャッタースピードｔ1 で撮像した画像Ｉ1 （ｔ1 ）の中で輝度がしきい値Ｓ1 （＝２４０）よりも大きい画素について、シャッタースピードｔ2 で撮像した画像Ｉ（ｔ2 ）の輝度値と入れ替えた画素Ｊ1 （ｔ2 ）、シャッタースピードｔ1 で撮像した蓄積枚数が１枚の画素Ｊ1 （ｔ1 ）、２枚の画素Ｊ2 （ｔ1 ）、３枚の画素Ｊ3 （ｔ1 ）の輝度値が採り得る範囲は、下記の式に示すようになる。
【００６９】
６０≦Ｊ1 （ｔ2 ）＜２５６
１２８≦Ｊ1 （ｔ1 ）＜２４０
１７１≦Ｊ2 （ｔ1 ）＜２５６
０≦Ｊ3 （ｔ1 ）＜２５６
横軸に明るさを、縦軸に輝度値をとってグラフを描くと、図５のようになり、ダイナミックレンジがＤＲ1 からＤＲ2 に拡大されているが、輝度値が明るさに対して単調増加していないため、自然な画像が得られない。そこで、前述した第１の実施の形態と同様に、輝度値を補正すると、下記の式に示すようになる。
【００７０】
Ｊ3 ′（ｔ1 ）＝Ｊ3 （ｔ1 ）
Ｊ2 ′（ｔ1 ）＝２５５＋｛Ｊ2 （ｔ1 ）−１７０｝
Ｊ1 ′（ｔ1 ）＝２５５＋（２５５−１７０）＋｛Ｊ1 （ｔ1 ）−１２７｝
＝３４０＋｛Ｊ1 （ｔ1 ）−１２７｝
Ｊ1 ′（ｔ2 ）＝２３９＋（３４０−１２７）＋｛Ｊ1 （ｔ2 ）−５９｝
＝４５２＋｛Ｊ1 （ｔ2 ）−５９｝
以上のようにしてＪ1 （ｔ2 ），Ｊ1 （ｔ1 ），Ｊ2 （ｔ1 ）を補正すると、Ｊ1 ′（ｔ2 ），Ｊ1 ′（ｔ1 ），Ｊ2 ′（ｔ1 ），Ｊ3 ′（ｔ1 ）が採り得る範囲は次のようになる。
【００７１】
４５３≦Ｊ1 ′（ｔ2 ）＜６４９
３４１≦Ｊ1 ′（ｔ1 ）＜４５３
２５６≦Ｊ2 ′（ｔ1 ）＜３４１
０≦Ｊ3 ′（ｔ1 ）＜２５６
明るさを横軸に、輝度値を縦軸に取りグラフを描くと、図６のようになり、輝度値が連続的に繋がっているため、自然な画像をうることができる。
【００７２】
最後に、次式を用いて、階調を６４９階調から２５６階調へ変換し、その後、必要に応じてヒストグラムの改善を行なえばよい。
【００７３】
Ｊ1 ′（ｔ2 ）＝Ｊ1 ′（ｔ2 ）＊（２５６／６４９）
Ｊ1 ′（ｔ1 ）＝Ｊ1 ′（ｔ1 ）＊（２５６／６４９）
Ｊ2 ′（ｔ1 ）＝Ｊ2 ′（ｔ1 ）＊（２５６／６４９）
Ｊ3 ′（ｔ1 ）＝Ｊ3 ′（ｔ1 ）＊（２５６／６４９）
以上の処理を行なうことにより、図５に示すようにダイナミックレンジを広げることができる。すなわち、明るい部分は輝度情報が飽和していない映像を、暗い部分は明るく、かつ鮮明な画像を入力することができる。さらに、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００７４】
なお、以上の説明では、蓄積枚数ｎ＝３、シャッタースピードｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒としたが、これは任意に設定することができる。
【００７５】
図７は、本発明による映像入力装置の第３の実施の形態の回路例を示すブロック図である。図７のブロック図では、図４の電子シャッターまたはレンズのアイリス（絞り）を制御する回路２に代えて、シャッタースピード制御回路２０を備えていることと、処理内容が異なることを除いては、図４の回路と同様であるから、対応する要素に同一符号を付し、重複する説明は省略する。
【００７６】
次に、本発明による映像入力装置の第４の実施の形態について説明する。
【００７７】
図８はＣＣＤカメラに用いられるＣＣＤ撮像素子への入射光量と出力信号との関係を表す光電変換特性を両対数グラフで示したものである。図８から明らかなように、低照度領域の撮像限界はアンプ雑音やリセットノイズにより決定される。したがって、暗い被写体を高Ｓ／Ｎ比をもって撮像するためには、これらの雑音を減らすか、あるいはＣＣＤ撮像素子における電荷蓄積時間を長くして、信号電荷量（信号電子数）を増加させることが重要となる。すなわち、電荷蓄積時間を長くすると、信号電荷量が増加することにより、図９に示すように、より低照度の領域の撮像が可能となる。
【００７８】
ところが、電荷蓄積時間を長くすることにより、信号電子数が飽和し始める照度が低くなるため、グレア発生領域が広がってしまう。
【００７９】
そこで、本実施の形態では、電荷蓄積時間ｔを制御することができるＣＣＤカメラを用いて、電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像し、低照度の部分は電荷蓄積時間が長い画像の画素情報を用い、高照度の部分は電荷蓄積時間が短い画像の画素情報を用いて、新しい画像を合成している。合成した新しい画像の光電変換特性は図１０に示すようになり、ヘッドライトの光による飽和がなく、かつ低照度部分は明るく、かつＳ／Ｎ比の高い画像となる。
【００８０】
以下、図１１のタイムチャートを参照しながら、本実施の形態における処理の流れを述べる。
【００８１】
(1) 電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と、電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像しながら以下の処理を行なう（図１１(a) ）
(2) 電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ1（ｘ，ｙ）とする（ｘ、ｙは画素の座標値）
(3) Ａ／Ｄ変換した画像Ｌ1 （ｘ，ｙ）をフレームメモリ１へ転送し、書き込む（図１１(b) ）。
【００８２】
(4) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ1 （ｘ，ｙ）とする(5) Ａ／Ｄ変換した画像Ｓ1 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(6) を実行する（図１１(b) ）
(6) フレームメモリ１の座標（ｘ，ｙ）に書き込まれている画像Ｌ1 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ1 （ｘ，ｙ）＞Ｔであれば、Ｓ1 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ1 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ1 （ｘ，ｙ）を補正処理して再びフレームメモリ１に書き込む。
【００８３】
(7) 次に、電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ2 （ｘ，ｙ）とする
(8) Ａ／Ｄ変換した画像Ｌ2 （ｘ，ｙ）をフレームメモリ２へ転送し、書き込む（図１１(d) ）。
【００８４】
(9) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ2 （ｘ，ｙ）とする
(10)Ａ／Ｄ変換した画像Ｓ2 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(11)を実行する（図１１(d) ）
(11)フレームメモリ２の座標（ｘ，ｙ）に書き込まれている画像Ｌ2 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ2 （ｘ，ｙ）＞Ｔであれば、Ｓ2 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ2 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ2 （ｘ，ｙ）を補正処理して再びフレームメモリ２に書き込む。
【００８５】
(12)以下、(2) 〜(12)の処理を繰り返す
(13)映像出力は、フレームメモリ１で処理 (2)〜(6) を行なっているときにはフレームメモリ２の画像を出力し、フレームメモリ２で処理 (7)〜(11)を行なっているときにはフレームメモリ２の画像を出力する（図１１(c) ，(e)）。
【００８６】
なお、上述の処理では、Ｓ1 （ｘ，ｙ）またはＬ1 （ｘ，ｙ）に対して、またＳ2 （ｘ，ｙ）またはＬ2 （ｘ，ｙ）に対して補正処理を行なっているが、これら補正処理を施さない場合は、図１０に示すように、照度に対して電子数が単調増加していない。すなわち、明るさに対して輝度値が単調増加してないから、自然な映像が得られない。そこで、前述の実施の形態と同様に、輝度値を補正して自然な映像に変換する。
【００８７】
電荷蓄積時間が長い（例えば、ｔ＝ｎ・ｔ0 ）画像Ｌ（ｘ，ｙ）と、電荷蓄積時間が短い（例えば、ｔ＝ｔ0 ）画像Ｓ（ｘ，ｙ）の間には、理想的にはＬ（ｘ，ｙ）＝ｎ・Ｓ（ｘ，ｙ）の関係が成立する。そこで、下記の式を用いて補正画像Ｈ（ｘ，ｙ）を生成する。
【００８８】
【数４】
【００８９】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
この補正は、上述の処理 (3)，(6) ，(8) ，(11)で行なう。この補正により、明るさに対して輝度値が単調増加となり、自然な映像が得られる。
【００９０】
図１２は、本発明による映像入力装置の第４の実施の形態の回路例を示すブロック図である。図１２のブロック図では、電荷蓄積時間ｔを制御することができるＣＣＤカメラ４１のために蓄積時間制御回路４２を設け、これをコントローラ４０でコントロールする。
【００９１】
ＣＣＤカメラ４１から出力される映像信号は、Ａ／Ｄ変換器４３でＡ／Ｄ変換されて、演算回路４４ａを経てフレームメモリ４５ａ（フレームメモリ１）に転送されるとともに、上述の補正演算を行なう演算回路４４ｂを経てフレームメモリ４５ｂ（フレームメモリ２）に転送される。また、ＣＣＤカメラ４１から出力される映像信号に含まれる同期信号は、垂直・水平同期分離回路４６で分離されてアドレス発生回路４７に与えられ、ここで、フレームメモリ４５ａ，４５ｂのためのアドレス信号が作成される。
【００９２】
フレームメモリ４５ａ，４５ｂからそれぞれ読み出された蓄積時間が長い画像Ｌ1 （ｘ，ｙ），Ｌ2 （ｘ，ｙ）の画素情報は比較器４８ａ，４８ｂでそれぞれでしきい値Ｔと比較され、その比較結果によりメモリコントローラ４９ａ，４９ｂが演算回路４４ａ，４４ｂをそれぞれ制御して、上述の式に従って補正を行なわせるとともに、メモリコントローラ４９ａ，４９ｂがフレームメモリ４５ａ，４５ｂの動作をそれぞれ制御する。図１１のタイミングチャートに示すように、交互に出力されるフレームメモリ４５ａ，４５ｂの出力は、Ｄ／Ａ変換器５０でＤ／Ａされて外部に出力される。Ａ／Ｄ変換器４３およびＤ／Ａ変換器５０には、ドットクロック発生回路５１からクロック信号が与えられる。
【図面の簡単な説明】
【図１】 本発明による映像入力装置の第１の実施の形態における処理の説明に供するグラフ
【図２】 本発明による映像入力装置の第１の実施の形態における処理において輝度値を補正したグラフ
【図３】 本発明による映像入力装置の第１の実施の形態の回路構成を示すブロック図
【図４】 本発明による映像入力装置の第２の実施の形態の回路構成を示すブロック図
【図５】 本発明による映像入力装置の第３の実施の形態における処理の説明に供するグラフ
【図６】 本発明による映像入力装置の第３の実施の形態における処理において輝度値を補正したグラフ
【図７】 本発明による映像入力装置の第３の実施の形態の回路構成を示すブロック図
【図８】 ＣＣＤ撮像素子の光電変換特性を示すグラフ
【図９】 電荷蓄積時間を長くしたときの光電変換特性を示すグラフ
【図１０】 本発明による映像入力装置の第４の実施の形態における光電変換特性を示すグラフ
【図１１】 本発明による映像入力装置の第４の実施の形態における処理のタイミングチャート
【図１２】 本発明による映像入力装置の第４の実施の形態の回路構成を示すブロック図
【符号の説明】
１，４１ ＣＣＤカメラ
２ 電子シャッターまたはオートアイリス制御回路
３，４７ アドレス発生回路
４，４３ Ａ／Ｄ変換器
５，５ａ〜５ｄ，７，４５ａ，４５ｂ フレームメモリ
６，６ａ〜６ｄ ルックアップ・テーブル
８，５０ Ｄ／Ａ変換器
９ カウンタ
１０ メモリ
１１，４８ａ，４８ｂ 比較器
１２ セレクタ
１３ 加算器
２０ シャッタースピード制御回路
４０ コントローラ
４２ 電荷蓄積時間制御回路
４４ａ，４４ｂ 演算回路
４９ａ，４９ｂ メモリコントローラ
【発明の属する技術分野】
本発明は、映像入力装置に関し、特にＣＣＤカメラ等の撮像手段のダイナミックレンジを広げることができる映像入力装置に関する。
【０００２】
【従来の技術】
車両にＣＣＤカメラを搭載して道路前方の映像を画像処理することにより走行路認識および障害物認識を行なう装置や、ＣＣＤカメラを用いた車両用後方監視装置が知られているが、これらの装置を夜間に使用すると、前方車両や後続車両のヘッドライト部分の映像の輝度情報が飽和してグレアを生じ、画像認識ために必要十分な映像情報を得ることができなかったり、あるいは後方の監視に不都合を生じたりするという問題がある。一方、オートアイリスや電子シャッターの機能を用いて露光量を減少させると、明るい部分の飽和が解消されてグレアを防止することができるが、逆に暗い部分の映像情報が失われてしまうことになる。
【０００３】
これは、一般的なＣＣＤカメラのダイナミックレンジ（Ｓ／Ｎ比）が高々４０dB程度であるのに対し、夜間の道路シーン中の対象物の明るさのレンジは１Lux〜１００，０００Lux 程度（５０dB）の範囲に及ぶためである。すなわち、従来のＣＣＤカメラでは、夜間の道路シーンを撮像するにはダイナミックレンジが不足しており、暗い部分から明るい部分まで一度に映像を入力することは不可能であった。
【０００４】
このため、例えば特開昭６２−２３８４３号に記載された車両用視認補助装置では、特定波長領域の光を車両から照射して、この光によって照射された対象物を上記特定波長領域の光の狭帯域フィルタを介してＣＣＤカメラで撮像することによって、対象物からの光量を減少させることなく、ヘッドライト等の幻惑光の光量のみを減少させるようにしている。
【０００５】
また、車載ＣＣＤカメラのダイナミックレンジを広げる従来技術として、２種類のシャッタースピード、例えば1/60秒と1/100 秒をもって撮像した画像を合成することが知られている。これによって、明るい部分の映像情報が飽和することがないから、グレアを防止することができ、かつ、暗い部分の映像情報もある程度得ることができる。
【０００６】
さらに、暗い部分の映像を鮮明に撮像する従来技術として、電荷蓄積型ＣＣＤカメラを用いることが知られている。この場合は、比較的遅いシャッタースピード（1/30 秒〜１秒）をもって撮像することにより、照明の届かない非常に暗い対象物も、明るく、鮮明な映像を得ることができ、屋外監視用装置として利用されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された技術では、特定波長領域の光の照射装置を必要とする欠点があり、また、上記のＣＣＤカメラのダイナミックレンジを広げる従来技術では、シャッタースピードを遅くしようとしても1/60秒が限度であるため、これによって得た暗い部分の映像情報は十分のものとは言えず、この技術を用いた走行路認識・障害物認識装置あるいは後方監視装置は、夜間性能が不満足なものであった。
【０００８】
さらに、上記電荷蓄積型ＣＣＤカメラを用いた場合は、暗い部分の鮮明な映像を入力できるが、カメラのダイナミックレンジは広がっておらず、このため、明るい部分と暗い部分とが混在するシーンを撮像しようとするとき、明るい部分の映像情報が飽和しないように、かつ、暗い部分の映像情報は鮮明になるように映像を入力することは困難である。
【０００９】
上述の事情に鑑み、本発明は、明るい部分の映像情報が飽和しないようにし、かつ、暗い対象物の映像も明るく、かつ鮮明に撮像することが可能な映像入力装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による映像入力装置は、ＣＣＤカメラのような撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とするものである。
【００１１】
また、上記撮像手段により、複数の画像を一定の露光量をもって撮像してもよいし、あるいは、複数の画像を露光時間を異ならせて撮像してもよい。
【００１２】
さらに、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることが好ましい。
【００１３】
上記フレームメモリは、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリによって構成することができる。
【００１４】
あるいは、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けてもよい。
【００１５】
また、本発明による映像入力装置は、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、 上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成することを特徴とするものである。
【００１６】
この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えているものとする。
【００１７】
そして、上記補正手段による輝度値の補正は、下記の式を用いて行なうことができる。
【００１８】
【数２】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ ：輝度のしきい値
ｎ ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
【００２０】
【発明の効果】
本発明によれば、フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えていることにより、画素ごとに最適な露光量をもって映像を入力することができるから、明るい部分の画像を飽和させることなしに、暗い部分の画像に対して露光量を等価的に増大させることができるため、例えば車両のヘッドライトによるグレアを低減しながら、暗い部分の映像を明るく、かつ鮮明に撮像することができる。
【００２１】
また、蓄積枚数の異なる画素間で、あるいは露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を設けた場合は、明るい部分から暗い部分までの輝度情報を連続的に、かつ滑らかに変化させることができるから、自然な画像を得ることができる。
【００２２】
さらに、蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、この比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを設けることにより、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリを設ける必要がなくなるから、蓄積枚数の変更に柔軟に対応でき、かつ、処理回路が簡単になる利点がある。
【００２３】
ところで、ＣＣＤ素子の出力には映像信号成分と雑音成分とがあるが、低輝度領域では、映像信号成分に対して雑音成分が相対的に大きい。このため、上述のように、低輝度の画素のフレームメモリへの蓄積枚数を増加させる場合には、低輝度領域の雑音成分も増幅されるから、Ｓ／Ｎ比（映像信号成分／雑音成分）の低下は否めない。
【００２４】
そこで、電荷蓄積時間の制御可能な電荷蓄積型撮像手段を用いて、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は、蓄積時間を長くして信号電荷量を増やした画像の画素情報を用い、高照度部分は蓄積時間が短い画像の画素情報を用いて、画像を合成するとにより、明るい部分の映像を飽和させることなしに、かつ暗い部分の映像を高Ｓ／Ｎ比をもって明るく、より鮮明に撮像することができる。
【００２５】
そして、この場合も、蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正することにより、自然な画像を得ることができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明による映像入力装置の実施の形態について説明する。
【００２７】
理解を容易にするために、本発明による映像入力装置の第１の実施の形態の構成の説明に先立って、この第１の実施の形態において行なわれる処理について説明する。画像の蓄積枚数ｎは予め設定されているものとして、ここではｎ＝４とする。
【００２８】
先ず、画像を１枚入力する。この１枚目の画像の座標（ｘ，ｙ）における輝度値をＩ1 （ｘ，ｙ）とする。このとき、明るい部分（ヘッドライトの光の部分）の輝度情報が飽和しないように、電子シャッターのスピードを速くして、もしくはレンズのアイリス（絞り）を絞って、露光量を制御する。この画像では、露光量を少なくしているため、明るい部分の輝度情報は飽和しないが、暗い部分の情報はノイズに埋もれてしまっており、獲得不能である。
【００２９】
次に、２枚目の画像を１枚目と同じ露光量で撮像し、この２枚目の画像の座標（ｘ，ｙ）における輝度値をＩ2 （ｘ，ｙ）とする。そして、１枚目の画像において輝度値が所定のしきい値Ｔ1 よりも小さい画素、すなわち、Ｉ1 （ｘ，ｙ）＜Ｔ1 となる画素について、Ｉ1 （ｘ，ｙ）とＩ2 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が２枚の画素の輝度値をＪ2 （ｘ，ｙ）とすると、Ｊ2 （ｘ，ｙ）は次式で表すことができる。
【００３０】
Ｉ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ） (1)
画像を２枚蓄積すると露光量が２倍となるため、蓄積枚数が２枚の画像の輝度値Ｊ2 は、蓄積しない画像の輝度値Ｊ1 の２倍となる。したがって、次式が成立する。
【００３１】
Ｊ1 ＝（1/2 ）Ｊ2 (2)
ここで、画像の深さを８ビット、すなわち２５６階調とすると、Ｊ2 （ｘ，ｙ）≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(2) 式より、Ｊ2 ＝２５６のときＪ1 ＝１２８となるため、Ｉ1 （ｘ，ｙ）≧１２８である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ1 ＝１２８と設定する。
【００３２】
このように画像を２枚足し合わせる（蓄積する）ことにより等価的に露光量を２倍にすることができる（レンズの絞りを開けることと同じ効果が得られる）ため、暗い部分の映像を明るく、かつ鮮明に入力することができる。
【００３３】
しかしながら、画像を２枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、３枚目の画像を１、２枚目と同じ露光量で撮像し、その３枚目の画像の座標（ｘ，ｙ）における輝度値をＩ3 （ｘ，ｙ）とする。そして、蓄積枚数が２枚の画像において輝度値が所定のしきい値Ｔ2 よりも小さい画素、すなわち、Ｊ2 （ｘ，ｙ）＜Ｔ2 となる画素について、Ｊ2 （ｘ，ｙ）とＩ3 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積枚数が３枚の画素の輝度値をＪ3 （ｘ，ｙ）とすると、Ｊ3 （ｘ，ｙ）は次式で表すことができる。
【００３４】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ） (3)
蓄積枚数が３枚の画像の露光量は、蓄積枚数が２枚の画像の露光量の3/2 倍となるため、蓄積枚数が３枚の画像の輝度値Ｊ3 は、蓄積枚数が２枚の画像の輝度値Ｊ2 の3/2 倍となる。したがって、次式が成立する。
【００３５】
Ｊ2 ＝(2/3) Ｊ3 (4)
画像の深さが８ビットであるため、J3 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(4) 式より、Ｊ3 ＝２５６のときＪ2 ＝１７１となるため、Ｊ2 （ｘ，ｙ）≧１７１である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ2 ＝１７１と設定する。
【００３６】
さらに、画像を３枚足し合わせても、露光量が足りず、輝度情報がノイズに埋もれている画素がある。そこで、４枚目の画像を１〜３枚目と同じ露光量で撮像し、その４枚目の画像の座標（ｘ，ｙ）における画素の輝度値をＩ4 （ｘ，ｙ）とする。そして、蓄積枚数が３枚の画像において輝度値が所定のしきい値Ｔ3 よりも小さい画素、すなわち、Ｊ3 （ｘ，ｙ）＜Ｔ3 となる画素について、Ｊ3 （ｘ，ｙ）とＩ4 （ｘ，ｙ）とを足し合わせる。このようにして得られた蓄積数が４枚の画素の輝度値をＪ4 （ｘ，ｙ）とすると、Ｊ4 （ｘ，ｙ）は次式で表すことができる。
【００３７】
Ｊ3 （ｘ，ｙ）＜Ｔ3 のとき
Ｊ4 （ｘ，ｙ）＝Ｊ3 （ｘ，ｙ）＋Ｉ4 （ｘ，ｙ）
＝Ｉ1 （ｘ，ｙ）＋Ｉ2 （ｘ，ｙ）＋Ｉ3 （ｘ，ｙ）
＋Ｉ4 （ｘ，ｙ） (5)
蓄積枚数が４枚の画像の露光量は、蓄積枚数が３枚の画像の露光量の4/3 倍となるため、蓄積枚数が４枚の画像の輝度値Ｊ4 は、蓄積枚数が３枚の画像の輝度値Ｊ3 の4/3 倍となる。したがって、次式が成立する。
【００３８】
Ｊ3 ＝(3/4) Ｊ4 (6)
画像の深さが８ビットであるため、Ｊ4 ≧２５６のとき座標（ｘ，ｙ）の画素の輝度情報が飽和する。(6) 式より、Ｊ4 ＝２５６のときＪ3 ＝１９２となるため、Ｊ3 （ｘ，ｙ）≧１９２である画素を蓄積すると輝度情報が飽和してしまう。そこで、しきい値Ｔ3 ＝１９２と設定する。
【００３９】
以上のような処理を行なうと、最も暗い部分の画素の蓄積枚数は４枚となり、明るくなるにつれて蓄積枚数が３枚、２枚、１枚（蓄積なし）となって、画素ごとに蓄積枚数が異なる画像が得られる。そして、蓄積枚数が１枚の画素Ｊ1 （ｘ，ｙ）、２枚の画素Ｊ2 （ｘ，ｙ）、３枚の画素Ｊ3 （ｘ，ｙ）、４枚の画素Ｊ4 （ｘ，ｙ）の輝度値が採り得る範囲は、それぞれ次の４つの式からなる(7) 式のようになる。
【００４０】
１２８≦Ｊ1 （ｘ，ｙ）＜２５６
１７１≦Ｊ2 （ｘ，ｙ）＜２５６ (7)
１９２≦Ｊ3 （ｘ，ｙ）＜２５６
０≦Ｊ4 （ｘ，ｙ）＜２５６
横軸を明るさに、縦軸を輝度値にとって、(7) 式をグラフに描くと図１が得られる。しかしながら、図１のような画素ごとに蓄積枚数が異なる画像では、暗い部分から明るい部分にかけて輝度情報が連続的に変化していないため、自然な画像を得ることができない。そこで、暗い部分から明るい部分にかけて輝度値が滑らかに変化するように、Ｊ3 ，Ｊ2 ，Ｊ1 を補正する。
【００４１】
先ず、輝度値Ｊ4 とＪ3 とが連続的に繋がるように、式(8) を用いてＪ3 を補正する。
【００４２】
Ｊ3 ′＝２５５＋（Ｊ3 −１９１） (8)
次に、Ｊ3 ′とＪ2 とが連続的に繋がるように、式(9) を用いてＪ2 を補正する。
【００４３】
Ｊ2 ′＝２５５＋（２５５−１９１）＋（Ｊ2 −１７０）
＝３１９＋（Ｊ2 −１７０） (9)
さらに、Ｊ2 ′とＪ1 とが連続的に繋がるように、(10)式を用いてＪ1 を補正する。
【００４４】
Ｊ1 ′＝２５５＋（３１９−１７０）＋（Ｊ1 −１２７）
＝４０４＋（Ｊ1 −１２７） (10)
以上のようにして、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正すると、Ｊ1 ′，Ｊ2 ′，Ｊ3 ′に採り得る範囲は、下記の４つの式からなる(11)式ようになる。
【００４５】
４０５≦Ｊ1 ′（ｘ，ｙ）＜５３３
３２０≦Ｊ2 ′（ｘ，ｙ）＜４０５ (11)
２５６≦Ｊ3 ′（ｘ，ｙ）＜３２０
０≦Ｊ4 （ｘ，ｙ）＜２５６
再び横軸を明るさに、縦軸を輝度値にとって、(11)式をグラフに描くと図２が得られる。図２から明らかなように、式(8) ，(9) ，(10)を用いて輝度値を補正した画像は、画素間の輝度変化が少なく、輝度が連続的に滑らかに繋がっているため、自然な画像を得ることができる。
【００４６】
最後に５３３階調もある輝度を、次の４つの式からなる(12)式を用いて、フレームメモリの一般的な階調である２５６階調に変換する。
【００４７】
Ｊ1 ′＝Ｊ1 ′＊（２５６／５３３）
Ｊ2 ′＝Ｊ2 ′＊（２５６／５３３） (12)
Ｊ3 ′＝Ｊ3 ′＊（２５６／５３３）
＝Ｊ4 ＊（２５６／５３３）
以上の処理を施すことにより、図１に示すようにＣＣＤカメラのダイナミックレンジをＤＲ1 からＤＲ2 に広げることができる。すなわち、画素ごとに蓄積枚数を変更して、明るい部分（ヘッドライト光）で輝度情報が飽和せず、暗い部分で、明るく、かつ鮮明な映像情報を得ることができる。さらに、必要に応じて、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００４８】
以上説明した本発明の実施の形態は、画像の最大蓄積枚数を４とした場合であるが、蓄積枚数は任意に設定することができ、蓄積枚数をｎとした場合は、各式を次のように変更すればよい。
【００４９】
式(1),(3),(5) Ｊ1 ＝Ｉ1
Ｊk ＝Ｊk-1 ＋Ｉk
＝Ｉ1 ＋Ｉ2 ＋…＋Ｉk
（ただし、ｋ＝１，２，…，ｎ）
式(2),(4),(6) Ｊk ＝[k/(k+1)] Ｊk+1
（ただし、ｋ＝１，２，…，ｎ−１）
しきい値Ｔn Ｔk ＝[k/(k+1)] ＊２５６
（ただし、ｋ＝２，…，ｎ−１）
式(7) Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜２５６
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６
…
Ｔk ≦Ｊk （ｘ，ｙ）＜２５６
…
０≦Ｔn （ｘ，ｙ）＜２５６
（ただし、ｋ＝１，２，…，ｎ）
【００５０】
【数３】
図３は、以上の処理を施すための映像入力装置の第１の実施の形態の回路例を示すブロック図であり、蓄積枚数ｎ＝４の場合を示す。１はＣＣＤカメラ、２は、電子シャッターまたはレンズのアイリス（絞り）を制御する回路、３はアドレス発生回路である。
【００５２】
ＣＣＤカメラ１で撮像された映像信号はＡ／Ｄ変換器４でデジタル信号に変換され、フレームメモリ５ａ〜５ｄに蓄積されるが、メモリ５ａ（メモリ１）は１枚目の画像（≧１２８）を記憶するメモリ、メモリ５ｂ（メモリ２）は１枚目と２枚目の画像を足し合わせた画像を記憶するメモリ、メモリ５ｃ（メモリ３）は１〜３枚目の画像を足し合わせた画像を記憶するメモリ、メモリ４は１〜４枚目の画像を足し合わせた画像を記憶するメモリである。輝度値Ｊ1 ，Ｊ2 ，Ｊ3 は、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｃでそれぞれ式(8) 〜(10)に基づいてＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正され（図２）、かつＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 に対してルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄによって式(12)に示す２５６階調への変換がなされる。そして、変換されたＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を合成した映像情報がメモリ７に格納され、かつこのメモリ７から読み出されてＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５３】
なお、図３の回路では、ルックアップ・テーブル（ＬＵＴ）６ａ〜６ｄにおいて、Ｊ1 ，Ｊ2 ，Ｊ3 をそれぞれＪ1 ′，Ｊ2 ′，Ｊ3 ′に補正し、かつ２５６階調に変換してから、その変換したＪ1 ′，Ｊ2 ′，Ｊ3 ′およびＪ4 を足し合わせているが、先に足し合わせてから変換を行なってもよい。
【００５４】
図４は、本発明の第２の実施の形態を示すブロック図である。この第２の実施の形態の回路では、蓄積枚数を任意に設定することができるから、映像の蓄積回数の変更に柔軟に対応でき、かつ回路構成がより簡単になる。
【００５５】
図４の回路では、画像を蓄積するための１個のフレームメモリ５を備えており、かつＣＣＤカメラ１からの同期信号を用いて、カウンタ９で蓄積枚数をカウントしている。そして、カウンタ９からの蓄積枚数情報は、しきい値Ｔを記憶しているメモリ１０に与えられ、このメモリ１０から蓄積枚数に対応するしきい値が、比較器１１に出力される。比較器１１では、メモリ５に蓄積されているデータＤと、メモリ１０から出力されるしきい値Ｔとを比較して、比較結果をセレクタ１２に出力する。セレクタ１２では、比較器１１の比較結果がＤ≧Ｔであれば０（データＤ２）を選択し、Ｄ＜Ｔであれば、メモリ５からのデータＤ１を選択する。セレクタ１２の出力は、加算器１３でＡ／Ｄ変換器４の出力に加算されてフレームメモリ５に蓄積されるように構成されている。
【００５６】
すなわち、Ｄ≧Ｔのとき、セレクタ１２が０を選択するという処理は、画素の輝度がしきい値Ｔよりも明るければ映像を足し合わさないという操作になり、Ｄ＜Ｔのとき、セレクタ１２がメモリ５からのデータＤ１を選択するという処理は、画素の輝度がしきい値Ｔよりも暗ければ映像を足し合わせてフレームメモリ５に書き込むという操作になる。そして、メモリ５から読み出された映像情報が一旦メモリ７に蓄積された後、ルックアップ・テーブル６で上述のような補正および変換がなされて、２５６階調の自然な画像に変換され、次いでＤ／Ａ変換器８でアナログ情報に変換されて出力される。
【００５７】
次に本発明による画像入力装置の第３の実施の形態について説明する。
【００５８】
先ず、第３の実施の形態において行なわれる処理について説明すると、シャッタースピードを変えることができる電子シャッターを備えたＣＣＤカメラを用いて、異なるシャッタースピードで画像を撮像する。例えば、シャッタースピードｔ1 ，ｔ2 で撮像した画像をＩ1 （ｔ1 ，ｘ，ｙ），Ｉ（ｔ2 ，ｘ，ｙ）とする。ｔ1 ，ｔ2 はｔ1 ＝Ｎt ・ｔ2 （ただしＮt ＞１）なる関係があるとする。すなわち、ｔ2 の方がシャッタースピードが速い。例えば、ｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒とすると、Ｎt ＝４となる。
【００５９】
画像Ｉ1 （ｔ1 ，ｘ，ｙ）の中で輝度がしきい値Ｓ1 （例えば、Ｓ1 ＝２４０）よりも大きい画素について、画像Ｉ（ｔ2 ，ｘ，ｙ）の輝度値と入れ替える。
【００６０】
Ｉ1 （ｔ1 ，ｘ，ｙ）≧Ｓ1 のとき
Ｊ1 （ｔ2 ，ｘ，ｙ）＝Ｉ（ｔ2 ，ｘ，ｙ）
Ｉ1 （ｔ1 ，ｘ，ｙ）＜Ｓ1 のとき
Ｊ1 （ｔ1 ，ｘ，ｙ）＝Ｉ1 （ｔ1 ，ｘ，ｙ）
シャッタースピードｔ1 とｔ2 との間にはｔ1 ＝Ｎt ・ｔ2 の関係があるため、画像Ｉ（ｔ2 ，ｘ，ｙ）の露光量は、画像Ｉ1 （ｔ1 ，ｘ，ｙ）の露光量の１／Ｎt 倍になっている。すなわち、Ｉ（ｔ2 ，ｘ，ｙ）＝（１／Ｎt ）・Ｉ1 （ｔ1 ，ｘ，ｙ）となる。したがって、Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）である画素は、次式で示す関係を満たすようになる。
【００６１】
Ｓ1 ≦Ｉ1 （ｔ1 ，ｘ，ｙ）＝Ｎt ・Ｉ（ｔ2 ，ｘ，ｙ）
Ｓ1 ／Ｎt ≦ Ｉ（ｔ2 ，ｘ，ｙ）＜２５６
Ｓ1 ／Ｎt ≦Ｊ1 （ｔ2 ，ｘ，ｙ）＜２５６
このようにすることで、明るい部分はシャッタースピードを速くして露光量を少なくし、輝度情報が飽和することを防ぐことができる。
【００６２】
次に、画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｓ1 よりも小さい画素について蓄積処理を行なう。例えば、蓄積枚数をｎ＝３とする。
【００６３】
シャッタースピードｔ1 で２枚目の画像Ｉ2 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ1 （ｘ，ｙ）の中で輝度がしきい値Ｔ1 よりも小さい画素について２枚目の画像の輝度値Ｉ2 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が２枚の画像Ｊ2 （ｘ，ｙ）を得る。
【００６４】
Ｊ1 （ｘ，ｙ）＜Ｔ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
Ｔ1 ≦Ｊ1 （ｘ，ｙ）＜Ｓ1 のとき
Ｊ2 （ｘ，ｙ）＝Ｊ1 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）
画像を２枚蓄積することにより等価敵に露光量が２倍となるため、蓄積しない画像の輝度Ｊ1 （ｔ1 ）と蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）との間には、理想的にはＪ2 （ｔ1 ）＝２Ｊ1 （ｔ1 ）の関係が成り立つ。したがって、Ｊ1 （ｔ1 ）≧１２８である画像について蓄積を行なうと、蓄積した画像はＪ2 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ1 ＝１２８を選ぶ。
【００６５】
さらに、画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素についてさらに蓄積処理を行なう。
【００６６】
シャッタースピードｔ1 で３枚目の画像Ｉ3 （ｔ1 ，ｘ，ｙ）を撮像する。画像Ｊ2 （ｘ，ｙ）の中で輝度がしきい値Ｔ2 よりも小さい画素について３枚目の画像の輝度値Ｉ3 （ｔ1 ，ｘ，ｙ）を加え、蓄積枚数が３枚の画像Ｊ3 （ｘ，ｙ）を得る。
【００６７】
Ｊ2 （ｘ，ｙ）＜Ｔ2 のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）＋Ｉ3 （ｔ1 ，ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
＋Ｉ3 （ｔ1 ，ｘ，ｙ）
Ｔ2 ≦Ｊ2 （ｘ，ｙ）＜２５６のとき
Ｊ3 （ｘ，ｙ）＝Ｊ2 （ｘ，ｙ）
＝Ｉ1 （ｔ1 ，ｘ，ｙ）＋Ｉ2 （ｔ1 ，ｘ，ｙ）
蓄積枚数が２枚の画像の輝度Ｊ2 （ｔ1 ）と蓄積枚数が３枚の画像の輝度Ｊ3（ｔ1 ）との間には、理想的にはＪ3 （ｔ1 ）＝(3/2) Ｊ2 （ｔ1 ）の関係が成り立つ。したがって、Ｊ2 （ｔ1 ）≧１７１である画像について蓄積を行なうと、蓄積した画像はＪ3 （ｔ1 ）≧２５６となり、飽和してしまう。そこで、しきい値としてＴ2 ＝１７１を選ぶ。
【００６８】
以上のように蓄積処理を行なうことにより、等価的に露光量を多くすることができるため、暗い部分の映像を明るく、かつ鮮明に入力することができる。そして、シャッタースピードｔ1 で撮像した画像Ｉ1 （ｔ1 ）の中で輝度がしきい値Ｓ1 （＝２４０）よりも大きい画素について、シャッタースピードｔ2 で撮像した画像Ｉ（ｔ2 ）の輝度値と入れ替えた画素Ｊ1 （ｔ2 ）、シャッタースピードｔ1 で撮像した蓄積枚数が１枚の画素Ｊ1 （ｔ1 ）、２枚の画素Ｊ2 （ｔ1 ）、３枚の画素Ｊ3 （ｔ1 ）の輝度値が採り得る範囲は、下記の式に示すようになる。
【００６９】
６０≦Ｊ1 （ｔ2 ）＜２５６
１２８≦Ｊ1 （ｔ1 ）＜２４０
１７１≦Ｊ2 （ｔ1 ）＜２５６
０≦Ｊ3 （ｔ1 ）＜２５６
横軸に明るさを、縦軸に輝度値をとってグラフを描くと、図５のようになり、ダイナミックレンジがＤＲ1 からＤＲ2 に拡大されているが、輝度値が明るさに対して単調増加していないため、自然な画像が得られない。そこで、前述した第１の実施の形態と同様に、輝度値を補正すると、下記の式に示すようになる。
【００７０】
Ｊ3 ′（ｔ1 ）＝Ｊ3 （ｔ1 ）
Ｊ2 ′（ｔ1 ）＝２５５＋｛Ｊ2 （ｔ1 ）−１７０｝
Ｊ1 ′（ｔ1 ）＝２５５＋（２５５−１７０）＋｛Ｊ1 （ｔ1 ）−１２７｝
＝３４０＋｛Ｊ1 （ｔ1 ）−１２７｝
Ｊ1 ′（ｔ2 ）＝２３９＋（３４０−１２７）＋｛Ｊ1 （ｔ2 ）−５９｝
＝４５２＋｛Ｊ1 （ｔ2 ）−５９｝
以上のようにしてＪ1 （ｔ2 ），Ｊ1 （ｔ1 ），Ｊ2 （ｔ1 ）を補正すると、Ｊ1 ′（ｔ2 ），Ｊ1 ′（ｔ1 ），Ｊ2 ′（ｔ1 ），Ｊ3 ′（ｔ1 ）が採り得る範囲は次のようになる。
【００７１】
４５３≦Ｊ1 ′（ｔ2 ）＜６４９
３４１≦Ｊ1 ′（ｔ1 ）＜４５３
２５６≦Ｊ2 ′（ｔ1 ）＜３４１
０≦Ｊ3 ′（ｔ1 ）＜２５６
明るさを横軸に、輝度値を縦軸に取りグラフを描くと、図６のようになり、輝度値が連続的に繋がっているため、自然な画像をうることができる。
【００７２】
最後に、次式を用いて、階調を６４９階調から２５６階調へ変換し、その後、必要に応じてヒストグラムの改善を行なえばよい。
【００７３】
Ｊ1 ′（ｔ2 ）＝Ｊ1 ′（ｔ2 ）＊（２５６／６４９）
Ｊ1 ′（ｔ1 ）＝Ｊ1 ′（ｔ1 ）＊（２５６／６４９）
Ｊ2 ′（ｔ1 ）＝Ｊ2 ′（ｔ1 ）＊（２５６／６４９）
Ｊ3 ′（ｔ1 ）＝Ｊ3 ′（ｔ1 ）＊（２５６／６４９）
以上の処理を行なうことにより、図５に示すようにダイナミックレンジを広げることができる。すなわち、明るい部分は輝度情報が飽和していない映像を、暗い部分は明るく、かつ鮮明な画像を入力することができる。さらに、ヒストグラムを改善することにより、暗い部分のコントラストを高くすることができる。
【００７４】
なお、以上の説明では、蓄積枚数ｎ＝３、シャッタースピードｔ1 ＝１／６０秒、ｔ2 ＝１／２４０秒としたが、これは任意に設定することができる。
【００７５】
図７は、本発明による映像入力装置の第３の実施の形態の回路例を示すブロック図である。図７のブロック図では、図４の電子シャッターまたはレンズのアイリス（絞り）を制御する回路２に代えて、シャッタースピード制御回路２０を備えていることと、処理内容が異なることを除いては、図４の回路と同様であるから、対応する要素に同一符号を付し、重複する説明は省略する。
【００７６】
次に、本発明による映像入力装置の第４の実施の形態について説明する。
【００７７】
図８はＣＣＤカメラに用いられるＣＣＤ撮像素子への入射光量と出力信号との関係を表す光電変換特性を両対数グラフで示したものである。図８から明らかなように、低照度領域の撮像限界はアンプ雑音やリセットノイズにより決定される。したがって、暗い被写体を高Ｓ／Ｎ比をもって撮像するためには、これらの雑音を減らすか、あるいはＣＣＤ撮像素子における電荷蓄積時間を長くして、信号電荷量（信号電子数）を増加させることが重要となる。すなわち、電荷蓄積時間を長くすると、信号電荷量が増加することにより、図９に示すように、より低照度の領域の撮像が可能となる。
【００７８】
ところが、電荷蓄積時間を長くすることにより、信号電子数が飽和し始める照度が低くなるため、グレア発生領域が広がってしまう。
【００７９】
そこで、本実施の形態では、電荷蓄積時間ｔを制御することができるＣＣＤカメラを用いて、電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像し、低照度の部分は電荷蓄積時間が長い画像の画素情報を用い、高照度の部分は電荷蓄積時間が短い画像の画素情報を用いて、新しい画像を合成している。合成した新しい画像の光電変換特性は図１０に示すようになり、ヘッドライトの光による飽和がなく、かつ低照度部分は明るく、かつＳ／Ｎ比の高い画像となる。
【００８０】
以下、図１１のタイムチャートを参照しながら、本実施の形態における処理の流れを述べる。
【００８１】
(1) 電荷蓄積時間が長い画像（例えば、ｔ＝４／３０sec ）と、電荷蓄積時間が短い画像（例えば、ｔ＝１／６０sec ）とを交互に撮像しながら以下の処理を行なう（図１１(a) ）
(2) 電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ1（ｘ，ｙ）とする（ｘ、ｙは画素の座標値）
(3) Ａ／Ｄ変換した画像Ｌ1 （ｘ，ｙ）をフレームメモリ１へ転送し、書き込む（図１１(b) ）。
【００８２】
(4) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ1 （ｘ，ｙ）とする(5) Ａ／Ｄ変換した画像Ｓ1 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(6) を実行する（図１１(b) ）
(6) フレームメモリ１の座標（ｘ，ｙ）に書き込まれている画像Ｌ1 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ1 （ｘ，ｙ）＞Ｔであれば、Ｓ1 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ1 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ1 （ｘ，ｙ）を補正処理して再びフレームメモリ１に書き込む。
【００８３】
(7) 次に、電荷蓄積時間が長い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＬ2 （ｘ，ｙ）とする
(8) Ａ／Ｄ変換した画像Ｌ2 （ｘ，ｙ）をフレームメモリ２へ転送し、書き込む（図１１(d) ）。
【００８４】
(9) 次に、電荷蓄積時間が短い画像を撮像し、Ａ／Ｄ変換を行なう。この画像をＳ2 （ｘ，ｙ）とする
(10)Ａ／Ｄ変換した画像Ｓ2 （ｘ，ｙ）をフレームメモリ１へ転送し、処理(11)を実行する（図１１(d) ）
(11)フレームメモリ２の座標（ｘ，ｙ）に書き込まれている画像Ｌ2 （ｘ，ｙ）の画素の輝度値を、所定のしきい値Ｔと比較し、Ｌ2 （ｘ，ｙ）＞Ｔであれば、Ｓ2 （ｘ，ｙ）を補正処理（後述）した後、フレームメモリ１の座標（ｘ，ｙ）に書き込む。Ｌ2 （ｘ，ｙ）≦Ｔであれば、書き込まれているＬ2 （ｘ，ｙ）を補正処理して再びフレームメモリ２に書き込む。
【００８５】
(12)以下、(2) 〜(12)の処理を繰り返す
(13)映像出力は、フレームメモリ１で処理 (2)〜(6) を行なっているときにはフレームメモリ２の画像を出力し、フレームメモリ２で処理 (7)〜(11)を行なっているときにはフレームメモリ２の画像を出力する（図１１(c) ，(e)）。
【００８６】
なお、上述の処理では、Ｓ1 （ｘ，ｙ）またはＬ1 （ｘ，ｙ）に対して、またＳ2 （ｘ，ｙ）またはＬ2 （ｘ，ｙ）に対して補正処理を行なっているが、これら補正処理を施さない場合は、図１０に示すように、照度に対して電子数が単調増加していない。すなわち、明るさに対して輝度値が単調増加してないから、自然な映像が得られない。そこで、前述の実施の形態と同様に、輝度値を補正して自然な映像に変換する。
【００８７】
電荷蓄積時間が長い（例えば、ｔ＝ｎ・ｔ0 ）画像Ｌ（ｘ，ｙ）と、電荷蓄積時間が短い（例えば、ｔ＝ｔ0 ）画像Ｓ（ｘ，ｙ）の間には、理想的にはＬ（ｘ，ｙ）＝ｎ・Ｓ（ｘ，ｙ）の関係が成立する。そこで、下記の式を用いて補正画像Ｈ（ｘ，ｙ）を生成する。
【００８８】
【数４】
但し、Ｌ（ｘ，ｙ）：蓄積時間が長い画像の座標（ｘ，ｙ）における輝度値
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
この補正は、上述の処理 (3)，(6) ，(8) ，(11)で行なう。この補正により、明るさに対して輝度値が単調増加となり、自然な映像が得られる。
【００９０】
図１２は、本発明による映像入力装置の第４の実施の形態の回路例を示すブロック図である。図１２のブロック図では、電荷蓄積時間ｔを制御することができるＣＣＤカメラ４１のために蓄積時間制御回路４２を設け、これをコントローラ４０でコントロールする。
【００９１】
ＣＣＤカメラ４１から出力される映像信号は、Ａ／Ｄ変換器４３でＡ／Ｄ変換されて、演算回路４４ａを経てフレームメモリ４５ａ（フレームメモリ１）に転送されるとともに、上述の補正演算を行なう演算回路４４ｂを経てフレームメモリ４５ｂ（フレームメモリ２）に転送される。また、ＣＣＤカメラ４１から出力される映像信号に含まれる同期信号は、垂直・水平同期分離回路４６で分離されてアドレス発生回路４７に与えられ、ここで、フレームメモリ４５ａ，４５ｂのためのアドレス信号が作成される。
【００９２】
フレームメモリ４５ａ，４５ｂからそれぞれ読み出された蓄積時間が長い画像Ｌ1 （ｘ，ｙ），Ｌ2 （ｘ，ｙ）の画素情報は比較器４８ａ，４８ｂでそれぞれでしきい値Ｔと比較され、その比較結果によりメモリコントローラ４９ａ，４９ｂが演算回路４４ａ，４４ｂをそれぞれ制御して、上述の式に従って補正を行なわせるとともに、メモリコントローラ４９ａ，４９ｂがフレームメモリ４５ａ，４５ｂの動作をそれぞれ制御する。図１１のタイミングチャートに示すように、交互に出力されるフレームメモリ４５ａ，４５ｂの出力は、Ｄ／Ａ変換器５０でＤ／Ａされて外部に出力される。Ａ／Ｄ変換器４３およびＤ／Ａ変換器５０には、ドットクロック発生回路５１からクロック信号が与えられる。
【図面の簡単な説明】
【図１】 本発明による映像入力装置の第１の実施の形態における処理の説明に供するグラフ
【図２】 本発明による映像入力装置の第１の実施の形態における処理において輝度値を補正したグラフ
【図３】 本発明による映像入力装置の第１の実施の形態の回路構成を示すブロック図
【図４】 本発明による映像入力装置の第２の実施の形態の回路構成を示すブロック図
【図５】 本発明による映像入力装置の第３の実施の形態における処理の説明に供するグラフ
【図６】 本発明による映像入力装置の第３の実施の形態における処理において輝度値を補正したグラフ
【図７】 本発明による映像入力装置の第３の実施の形態の回路構成を示すブロック図
【図８】 ＣＣＤ撮像素子の光電変換特性を示すグラフ
【図９】 電荷蓄積時間を長くしたときの光電変換特性を示すグラフ
【図１０】 本発明による映像入力装置の第４の実施の形態における光電変換特性を示すグラフ
【図１１】 本発明による映像入力装置の第４の実施の形態における処理のタイミングチャート
【図１２】 本発明による映像入力装置の第４の実施の形態の回路構成を示すブロック図
【符号の説明】
１，４１ ＣＣＤカメラ
２ 電子シャッターまたはオートアイリス制御回路
３，４７ アドレス発生回路
４，４３ Ａ／Ｄ変換器
５，５ａ〜５ｄ，７，４５ａ，４５ｂ フレームメモリ
６，６ａ〜６ｄ ルックアップ・テーブル
８，５０ Ｄ／Ａ変換器
９ カウンタ
１０ メモリ
１１，４８ａ，４８ｂ 比較器
１２ セレクタ
１３ 加算器
２０ シャッタースピード制御回路
４０ コントローラ
４２ 電荷蓄積時間制御回路
４４ａ，４４ｂ 演算回路
４９ａ，４９ｂ メモリコントローラ
Claims (9)
- 撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記フレームメモリに蓄積する画像の蓄積枚数を、低輝度の画素ほど上記蓄積枚数を増加させる態様で、画素の輝度値に応じて画素ごとに変更する蓄積枚数変更手段を備えてなることを特徴とする映像入力装置。 - 上記撮像手段により、複数の画像が一定の露光量をもって撮像されることを特徴とする請求項１記載の映像入力装置。
- 蓄積枚数の異なる画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項２記載の映像入力装置。
- 上記撮像手段により、複数の画像が露光時間を異ならせて撮像されることを特徴とする請求項１記載の映像入力装置。
- 露光時間を異ならせて撮像した画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えてなることを特徴とする請求項４記載の映像入力装置。
- 上記フレームメモリが、互いに異なる蓄積枚数を固定的に設定された複数のフレームメモリよりなることを特徴とする請求項２または４記載の映像入力装置。
- 上記蓄積枚数を計数するカウンタと、上記フレームメモリに蓄積された画素の輝度値を所定のしきい値とを比較する比較器と、該比較器による比較に基づいて、上記しきい値よりも小さい輝度を有する画素の輝度値を上記フレームメモリに蓄積された輝度値に加算する加算器とを備えてなることを特徴とする請求項２または４記載の映像入力装置。
- 電荷蓄積時間の制御可能な電荷蓄積型撮像手段を備え、該撮像手段により画像を撮像しながら該画像をフレームメモリに蓄積し、該フレームメモリに蓄積された画像を合成する映像入力装置であって、
上記撮像手段における電荷蓄積時間を制御する制御手段を備え、該制御手段による電荷蓄積時間の制御の下に上記撮像手段により、蓄積時間が長い画像と短い画像とを交互に獲得し、低照度部分は上記蓄積時間が長い画像の画素情報を用い、高照度部分は上記蓄積時間が短い画像の画素情報を用いて、画像を合成するとともに、
上記蓄積時間が長い画像と短い画像の画素間で輝度変化が少なくなるように輝度値を補正する補正手段を備えていることを特徴とする映像入力装置。 - 上記補正手段が、下記の式を用いて輝度値を補正することを特徴とする請求項８記載の映像入力装置。
Ｓ（ｘ，ｙ）：蓄積時間が短い画像の座標（ｘ，ｙ）における輝度値
Ｈ（ｘ，ｙ）：補正画像の座標（ｘ，ｙ）における輝度値
Ｔ ：輝度のしきい値
ｎ ：蓄積時間が長い画像と短い画像との蓄積時間比（ｎ＞１）
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02123296A JP3700232B2 (ja) | 1995-07-28 | 1996-02-07 | 映像入力装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19277095 | 1995-07-28 | ||
| JP7-192770 | 1995-07-28 | ||
| JP02123296A JP3700232B2 (ja) | 1995-07-28 | 1996-02-07 | 映像入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09102930A JPH09102930A (ja) | 1997-04-15 |
| JP3700232B2 true JP3700232B2 (ja) | 2005-09-28 |
Family
ID=26358277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02123296A Expired - Fee Related JP3700232B2 (ja) | 1995-07-28 | 1996-02-07 | 映像入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3700232B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6734904B1 (en) | 1998-07-23 | 2004-05-11 | Iteris, Inc. | Imaging system and method with dynamic brightness control |
| EP1074430B1 (en) * | 1999-08-04 | 2007-10-17 | Iteris, Inc. | Imaging system and method with dynamic brightness control |
| JPWO2004084121A1 (ja) * | 2003-03-17 | 2006-06-22 | 富士通株式会社 | 車両識別方法及び装置 |
-
1996
- 1996-02-07 JP JP02123296A patent/JP3700232B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09102930A (ja) | 1997-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4163353B2 (ja) | 画像処理装置 | |
| JP4240023B2 (ja) | 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム | |
| US6882754B2 (en) | Image signal processor with adaptive noise reduction and an image signal processing method therefor | |
| JP3730419B2 (ja) | 映像信号処理装置 | |
| JP4835593B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 | |
| JP4404823B2 (ja) | 撮像装置 | |
| JP4089911B2 (ja) | 画像入力装置 | |
| JP4630730B2 (ja) | 撮像装置、カメラ及び撮像方法 | |
| JP2009049547A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| KR20150045877A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| JP3184309B2 (ja) | 階調補正回路及び撮像装置 | |
| JP2008206111A (ja) | 撮影装置及び撮影方法 | |
| US7639287B2 (en) | Video imaging apparatus having non-linear input-output characteristic for improved image contrast control | |
| JP7340772B2 (ja) | 撮像装置、および、画像調整方法 | |
| JP4212741B2 (ja) | 画像処理装置 | |
| JP4775230B2 (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
| JP2004297701A (ja) | 映像処理装置および撮像システム | |
| JP3700232B2 (ja) | 映像入力装置 | |
| JP4270638B2 (ja) | 撮像装置 | |
| JP3092397B2 (ja) | 撮像装置 | |
| JPH06253176A (ja) | 階調補正回路及び撮像装置 | |
| KR20160001582A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JP2007194832A (ja) | 階調補正装置 | |
| JP7117532B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR102050415B1 (ko) | 화상 처리 장치 및 화상 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |