JP5370413B2 - 認識対象検出装置 - Google Patents

認識対象検出装置 Download PDF

Info

Publication number
JP5370413B2
JP5370413B2 JP2011126474A JP2011126474A JP5370413B2 JP 5370413 B2 JP5370413 B2 JP 5370413B2 JP 2011126474 A JP2011126474 A JP 2011126474A JP 2011126474 A JP2011126474 A JP 2011126474A JP 5370413 B2 JP5370413 B2 JP 5370413B2
Authority
JP
Japan
Prior art keywords
luminance
recognition target
recognition
output pixel
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011126474A
Other languages
English (en)
Other versions
JP2012250668A (ja
Inventor
俊和 村尾
貴之 木村
健太朗 塩田
孝昌 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011126474A priority Critical patent/JP5370413B2/ja
Priority to US13/486,366 priority patent/US8953839B2/en
Priority to DE102012209488A priority patent/DE102012209488A1/de
Publication of JP2012250668A publication Critical patent/JP2012250668A/ja
Application granted granted Critical
Publication of JP5370413B2 publication Critical patent/JP5370413B2/ja
Priority to US14/593,136 priority patent/US9690997B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、車載カメラによって撮像された画像から認識対象を検出する技術に関する。
従来、車載カメラによって撮像された画像から、あらかじめ設定された認識対象を検出する技術が知られている。例えば特許文献1には、車両前方を撮像する車載カメラを用いて夜間の走行中における前方状況を撮像し、撮像された画像から先行車のテールライトや対向車のヘッドライトを認識対象として検出する技術が開示されている。この技術を利用することで、先行車又は対向車が存在する場合には自車両のヘッドライトをロービームにし、先行車及び対向車が存在しない場合にはハイビームにするといった制御(オートハイビーム制御)が実現される。
ただし、先行車や対向車が自車両に対して遠距離に位置する場合には、自車両に対して近距離に位置する場合と比較して、車載カメラによって撮像された画像におけるテールライトやヘッドライトの輝度が低くなり、ノイズ等によってつぶれやすくなる。遠距離(低輝度)のテールライトやヘッドライトの検出精度を高める方法としては、車載カメラの撮像感度を高くすることが考えられるが、感度を高くするほど、車載カメラによって撮像された画像において、近距離(高輝度)のテールライトやヘッドライトが飽和しやすくなってしまう。
そこで、特許文献2には、まず低感度での撮像を行い、撮像した画像から先行車のテールライトや対向車のヘッドライトが検出されない場合に、高感度での撮像を行う技術が開示されている。つまり、撮像を2回に分けて行うことで、低輝度及び高輝度の両方の認識対象の検出精度の向上を図っている。この技術によれば、遠距離に位置する車両のライトをノイズ等によってつぶれにくくしつつ、近距離に位置する車両のライトを飽和しにくくすることが可能となる。
特開2009−61812号公報 特許第4034565号公報
しかしながら、前述した従来技術のように撮像感度を変えて撮像を複数回行うようにすると、処理負荷が大幅に高くなってしまうという問題があった。処理負荷が高くなることは、装置のコストが高くなるという問題や、発熱量の増大に伴い装置の小型化が阻害されるといった問題につながる。なお、このような問題は、先行車のテールライトや対向車のヘッドライトを認識対象として検出する技術に限ったものではなく、他の認識対象を検出する技術においても同様に生じ得る。
本発明は、こうした問題にかんがみてなされたものであり、処理負荷を抑えつつ、認識対象の検出精度を向上させることを目的としている。
上記目的を達成する本発明の認識対象検出装置では、撮像手段が、撮像した画像を表す画像データを生成し、検出手段が、撮像手段によって生成された画像データの表す画像から認識対象を検出する。具体的には、撮像手段は、輝度に対する出力画素値の関係が輝度域に応じて異なるハイダイナミックレンジ特性を有する。そして、検出手段は、画像データの表す画像の出力画素値を複数のしきい値で二値化して複数の二値画像を生成し、生成した複数の二値画像に基づいて認識対象を検出する。
つまり、この認識対象検出装置では、ハイダイナミックレンジ特性を有する撮像手段によって撮像された画像を、複数のしきい値を用いて解析することで認識対象を検出する。このため、撮像感度を変えて撮像を複数回行うことなく(処理負荷を抑えつつ)、認識対象の検出精度を向上させることができる。
また、上記の構成に加え、測定手段が、撮像手段の温度を測定し、撮像条件補正手段が、測定手段によって測定された温度に応じて、撮像手段の撮像条件を補正するようにしてもよい。このようにすれば、出力画素値が温度の影響でばらつきやすい撮像手段であっても、ばらつきが抑えられるように撮像条件を補正することができる。
具体的には、撮像条件補正手段が、輝度に対する出力画素値の関係を補正するようにしてもよい。このようにすれば、輝度に対する出力画素値の関係が、撮像手段の温度に応じてどのように変化するかといった特性をあらかじめ記憶しておくことで、出力画素値のばらつきを小さくすることができる。
また、撮像条件補正手段に代えて、しきい値補正手段が、測定手段によって測定された温度に応じて、しきい値を補正するようにしてもよい。このようにすれば、撮像手段の撮像条件を補正しなくても、温度の影響による撮像手段の出力画素値のばらつきが認識対象の検出精度に与える影響を小さくすることができる。
ところで、撮像手段は、第1の輝度域における単位輝度幅に対する出力画素値の幅が、第1の輝度域よりも輝度が高い第2の輝度域における単位輝度幅に対する出力画素値の幅と比較して、大きく設定されていてもよい。このような構成であれば、低輝度の認識対象の検出精度を高めつつ、広い輝度範囲を対象とすることができる。
また、第1の輝度域と第2の輝度域とは隣接しており、第1の距離に位置する認識対象の輝度及び第1の距離よりも短い第2の距離に位置する認識対象の輝度を少なくとも測定して得られた輝度分布であって、第1の距離に位置する認識対象が第2の距離に位置する認識対象と比較して低い輝度を示す輝度分布に基づいて、第1の輝度域における単位輝度幅に対する出力画素値の幅及び第2の輝度域における単位輝度幅に対する出力画素値の幅が設定されており、第1の輝度域と第2の輝度域との境界位置が、輝度分布に基づいて設定されていてもよい。
また、撮像手段は、輝度に対する出力画素値の関係が、傾きの異なる複数の直線関係で表されるものであってもよい。このような構成であれば、輝度に対する出力画素値の関係を簡易的に表すことができる。
また、検出手段は、二値画像における輝度の高い複数の画素からなる画素群の形状に基づいて認識対象を検出するようにしてもよい。このようにすれば、認識対象でないものが認識対象として誤検出されにくくすることができる。
また、撮像手段は、自車前方を撮像し、検出手段は、先行車のテールライト及び対向車のヘッドライトを認識対象として検出するようにしてもよい。このようにすれば、例えばオートハイビーム制御に利用することができる。
また、検出手段は、自車両に対して遠距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第1しきい値及び第2しきい値、並びに、自車両に対して近距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第3しきい値及び第4しきい値、の4種類のしきい値を用いて、画像データの表す画像の出力画素値を二値化して4種類の二値画像を生成し、生成した4種類の二値画像のそれぞれに基づいて認識対象を検出するようにしてもよい。このようにすれば、先行車のテールライト及び対向車のヘッドライトを高い精度で検出することができる。
実施形態のヘッドライト制御システムの構成を示すブロック図である。 (a)は輝度分布を示す図であり、(b)はイメージャの特性(輝度に対する出力画素値の関係)を示す図である。 イメージャの特性の他の例を示す図である。 物体認識処理のフローチャートである。 撮像画像における検出領域内の画像を処理対象画像として抽出する処理を示す図である。 (a)は2つの光源がつながった形状の二値画像を示す図であり、(b)は2つの光源が水平方向に間隔を空けて配置された二値画像を示す図であり、(c)は1つの光源が配置された二値画像を示す図である。 光源の輝度に基づいて自車両からの距離を推測する処理を示す図である。 温度補正処理のフローチャートである。 (a)は温度−感度マップを示す図であり、(b)は温度−ノイズマップを示す図であり、(c)は輝度に対する出力画素値の関係の補正方法を示す図である。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.全体構成]
図1は、実施形態のヘッドライト制御システム10の構成を示すブロック図である。
ヘッドライト制御システム10は、車両に搭載され、その車両(自車両)の前方を走行する他車両(先行車又は対向車)の存在に応じて、自車両のヘッドライト41の点灯状態を切り替えるオートハイビーム制御を実行する。オートハイビーム制御の実行中は、ヘッドライト41の点灯状態が、先行車又は対向車が存在している状況ではロービームに、いずれも存在しない状況ではハイビームに、自動的に切り替えられる。
このようなオートハイビーム制御を実現するために、ヘッドライト制御システム10は、自車両の前方を撮像する車載カメラ(以下、単に「カメラ」という。)20と、カメラ20によって撮像された画像から先行車のテールライト及び対向車のヘッドライトを認識対象として検出する制御装置30と、ヘッドライト41の点灯状態を切り替える灯火制御装置40とを備えている。
カメラ20は、自車両の前方を撮像した画像を表す画像データを出力する装置であり、自車両における所定位置(例えば車室内におけるルームミラーの裏側)に設置されている。具体的には、カメラ20は、撮像した画像を表す画像データを生成するイメージャ21と、イメージャ21によって生成された画像データを制御装置30へ出力する画像インタフェース22と、イメージャ21の温度を測定する温度センサ23とを備えている。
イメージャ21は、公知のCCDイメージセンサ、あるいはCMOSイメージセンサに加え、増幅部及びA/D変換部を内蔵している。これら増幅部及びA/D変換部は、イメージセンサによって画像を撮像したとき、その画像の各画素の輝度(明るさ)を示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、イメージャ21は、このデジタル値に変換した信号(各画素の出力画素値)を、画像データとして、画像のラインごとに出力する。
特に、本実施形態のイメージャ21としては、ダイナミックレンジを拡大するハイダイナミックレンジ(HDR)設定が可能なものが用いられている。図2(b)は、イメージャ21の特性(輝度と出力画素値との関係)を示しており、輝度に対する出力画素値の関係が全輝度域で一定(リニア)ではなく、輝度域に応じて異なる特性(ハイダイナミックレンジ特性)を有している。具体的には、低輝度域と残りの輝度域(高輝度域)とで傾きが異なる折れ線の関係(2種類の傾きの線形を組み合わせた関係)となっており、低輝度域の分解能を細かくしつつ、広い輝度範囲の出力が可能となる。なお、図2(b)に示す輝度と出力画素値との関係は一例であり、例えば、図3において実線で示すように3種類以上の傾きの線形を組み合わせた関係や、同図において点線で示すようにlog特性(曲線)に基づく関係としてもよい。
図1に戻り、制御装置30は、カメラ20によって撮像された画像(イメージャ21によって生成された画像データの表す画像)から先行車のテールライト及び対向車のヘッドライトを認識対象として検出する処理を行い、処理結果を灯火制御装置40へ出力する装置である。具体的には、制御装置30は、CPU31と、データを記憶するためのメモリ32と、灯火制御装置40との通信を行うための通信インタフェース33とを備えている。
CPU31は、カメラ20から入力した画像データをメモリ32に格納し、その画像データの表す画像から認識対象を検出する処理を行う。そして、その処理結果(認識対象の存在の有無を示す情報)を、通信インタフェース33を介して灯火制御装置40へ出力する。
また、CPU31は、環境温度などの影響によるイメージャ21の温度変化に起因する画像データ(出力画素値)のばらつきを抑制するため、温度センサ23によって測定されるイメージャ21の温度に応じて、カメラ20(具体的にはイメージャ21)へカメラ制御値を出力することで、カメラ20の露出制御を行う(輝度と出力画素値との関係を補正する)。カメラ制御値としては、例えば、露光時間(シャッタースピード)、フレームレート、増幅部のゲインの調整指示値などが出力される。なお、本実施形態では、イメージャ21の温度に応じた制御を除き、露出制御を行わない(輝度と出力画素値との関係を固定の関係とする)。
灯火制御装置40は、ヘッドライト41を制御するための装置であり、制御装置30からの情報に応じてヘッドライト41の点灯状態(ハイビーム/ロービーム)を切り替える。
[2.処理]
次に、あらかじめ記憶されているプログラムに従いCPU31が実行する処理について説明する。
まず、CPU31が定期的に(例えば100ms周期で)実行する物体認識処理について、図4のフローチャートを用いて説明する。
CPU31は、図4の物体認識処理を開始すると、まず、自車両前方を撮像した画像を表す画像データをカメラ20から取得する(S11)。そして、図5に示すように、その画像データの表す撮像画像から、法規要件や物体認識性能、処理負荷などを考慮して設定されている検出領域50内の画像を、処理対象画像として抽出する(S12)。
続いて、CPU31は、処理対象画像に対し、遠方テールライト用の第1しきい値、遠方ヘッドライト用の第2しきい値、近傍テールライト用の第3しきい値、近傍ヘッドライト用の第4しきい値、の4種類のしきい値を用いた二値化処理を行い、4種類の二値画像を生成する(S13A,S13B,S13C,S13D)。
ここで、4種類のしきい値を用いる理由について説明する。先行車のテールライトや対向車のヘッドライトは周囲と比較して輝度が高いため、撮像画像において出力画素値がしきい値以上の部分をテールライト又はヘッドライトとして検出することが可能である。ただし、撮像画像には、テールライトやヘッドライト以外にも、輝度の高い物体(例えば、街灯や、光を反射した看板など)が外乱として含まれ得るため、しきい値以上の部分の形状を分析することにより判別する。認識対象の形状を精度よく検出するには、その認識対象の輝度に適したしきい値を用いる必要があるが、テールライトやヘッドライトの輝度は、自車両からの距離が離れているほど低く検出されるため、1つのしきい値で遠方のテールライトやヘッドライトまで検出しようとすると、近傍のテールライトやヘッドライトの形状が正しく検出されなくなってしまう。また、テールライトはヘッドライトと比較して輝度が低いため、検出精度を向上させるためには、これらを区別することが好ましい。そこで、本実施形態では、遠方テールライト用、遠方ヘッドライト用、近傍テールライト用、近傍ヘッドライト用の4種類のしきい値(第1〜第4しきい値)を用いる。
これら4種類のしきい値は、設計段階において設定される。ここで、しきい値の設定方法について説明する。
まず、認識対象の輝度の基準値を求めるための調査として、自車両からの距離に応じた認識対象の輝度を測定する。具体的には、一般道や、実際の走行環境に相当する試験路を走行しつつ、認識対象(先行車のテールライト及び対向車のヘッドライト)と外乱(街灯や看板等)とを撮像し、その撮像結果から図2(a)に示すような輝度分布(輝度と度数(画素数)との関係を表す分布)を作成する。そして、作成した輝度分布に基づいて、自車両に対して遠距離(第1の距離)に位置する先行車のテールライト(遠方テールライト)及び対向車のヘッドライト(遠方ヘッドライト)や、自車両に対して近距離(第1の距離よりも短い第2の距離)に位置する先行車のテールライト(近傍テールライト)及び対向車のヘッドライト(近傍ヘッドライト)などの輝度範囲及び度数を特定する。なお、図2(a)に示す輝度分布では、自車両に対して中間距離(第1の距離よりも短く第2の距離よりも長い第3の距離)に位置する先行車のテールライト(中間テールライト)及び対向車のヘッドライト(中間ヘッドライト)の輝度範囲及び度数についても特定されている。
次に、認識対象の輝度範囲及び度数を元に、認識処理を精度よく行うために、どの輝度範囲をどの程度の細かさ(分解能)で撮像すべきかを決定する。つまり、認識対象ごとに、HDRの露光量を定める。図2(a)の輝度分布によれば、自車両からの距離が遠いほど、光源から検出される輝度が低くなり、輝度範囲が狭くなる傾向があるため、低輝度域の分解能を高輝度域と比較して高く設定する。つまり、低輝度域における単位輝度幅に対する出力画素値の幅が、高輝度域における単位輝度幅に対する出力画素値の幅よりも大きくなるように設定する。本実施形態では、図2(b)に示すように、輝度と出力画素値との関係を、低輝度域と高輝度域とで傾きの異なる直線の関係に設定する。低輝度域と高輝度域との境界位置(分割位置)は、輝度分布に基づいて設定される。また、各認識対象を検出するためのしきい値(第1〜第4しきい値)は、各認識対象の輝度分布を出力画素値に変換した分布の下限付近に(認識対象がしきい値以上となり、認識対象よりも低い輝度の外乱がしきい値以下となる値に)設定される(図7(b)参照)。
CPU31は、このようにして設定された4種類のしきい値(第1〜第4しきい値)を用いて、処理対象画像に対して二値化処理を行い(S13A,S13B,S13C,S13D)、各二値化処理で生成した4種類の二値画像のそれぞれに基づいて認識対象を検出する認識処理を行う(S14A,S14B,S14C,S14D)。具体的には、二値画像において、しきい値以上の画素が複数集まった画素群の形状(配置)と、あらかじめ設定されている基準形状(ヘッドライトやテールライトの特徴を有する形状)とを比較し、基準形状に類似しなければヘッドライトやテールライトでない(外乱である)と判定する。ヘッドライトやテールライトであれば、2つの光源が水平方向に間隔を空けて配置されるため、このような形状が基準形状として設定される。また、ヘッドライトやテールライトであっても、適切でないしきい値で二値化した二値画像においては形状が精度よく検出されないため基準形状に類似せず、適切なしきい値で二値化した二値画像においては基準形状に類似することになる。したがって、認識対象の自車両からの距離(遠方又は近傍)やライトの種類(ヘッドライト又はテールライト)についても推測することが可能となる。
例えば、近傍ヘッドライト(高輝度の認識対象)が撮像された処理対象画像を遠方テールライト用の第1しきい値(最も低いしきい値)で二値化した場合、光源部分の画素だけでなく、その周辺の画素もしきい値を超えてしまい、図6(a)に示すように、2つの光源がつながった二値画像となるため、ヘッドライトやテールライトでないと判定される。これに対し、同じ処理対象画像を近傍ヘッドライト用の第4しきい値(最も高いしきい値)で二値化した場合には、図6(b)に示すように、2つの光源が水平方向に間隔を空けて配置された二値画像となるため、ヘッドライト又はテールライトであると判定される。一方、街灯などの外乱は、図6(c)に示すように、光源が1つであるため、ヘッドライト又はテールライトと区別することができる。
ただし、2つの光源の間隔や各光源の大きさは、自車両からの距離によって異なるため、自車両からの距離を推測し、距離に応じた基準形状を用いることが好ましい(図2(b))。自車両からの距離が遠いほど、光源から検出される輝度が低くなることから、出力画素値に基づいて距離を推測することが可能となる。すなわち、図7(a)に示すように、輝度と出力画素値との関係はあらかじめ把握されており、また、図7(b)に示すように、距離と輝度との間にも相関関係があることから、光源の出力画素値の分布に基づいて自車両からのおおよその距離を推測することが可能となる。その他、処理対象画像における認識対象の位置に基づいて、下方であるほど近距離であると推測するといったことも可能である。
そして、CPU31は、各二値画像に基づく認識処理の結果、いずれかの二値画像から認識対象が検出されたか否かを判定する(S15)。そして、いずれかの二値画像から認識対象が検出されたと判定した場合には(S15:YES)、自車両のヘッドライト41の点灯状態をロービームにする(S16)。一方、いずれの二値画像からも認識対象が検出されなかったと判定した場合には(S15:NO)、自車両のヘッドライト41の点灯状態をハイビームにする(S17)。その後、図4の物体認識処理を終了する。
次に、CPU31が定期的に(例えば100ms周期で)実行する温度補正処理について、図8のフローチャートを用いて説明する。
CPU31は、まず、温度センサ23により測定されるイメージャ21の温度が、あらかじめ定められている規定幅以上変化したか否かを判定し(S21)、変化していないと判定した場合には(S21:NO)、図8の温度補正処理を終了する。
一方、CPU31は、温度が規定幅以上変化したと判定した場合には(S21:YES)、図9(a)に示すような温度−感度マップ(温度と感度補正値との対応関係を規定したマップ)を参照して、測定温度に応じた感度補正値を算出する(S22)。さらに、図9(b)に示すような温度−ノイズマップ(温度とノイズ補正値との対応関係を規定したマップ)を参照して、測定温度に応じたノイズ補正値を算出する(S23)。そして、感度補正値とノイズ補正値とを掛け合わせた値を補正値として算出し、算出した補正値が反映されたカメラ制御値をカメラ20へ送信する(S24)。
こうしてカメラ制御値がカメラ20へ送信されると、カメラ20において、輝度に対する出力画素値の関係が補正される。具体的には、図9(c)に示すように、イメージャ21の温度が高いほど感度が低くなる側に補正され、温度が低いほど感度が高くなる側に補正される。また、イメージャ21の温度が高いほど出力画素値の低い値がノイズに埋もれやすくなるため、温度が高いほど出力画素値が高く補正されるように補正される。その結果、イメージャ21の温度変化に伴う画像データ(出力画素値)のばらつきが抑制される。つまり、温度センサ23によって測定されたイメージャ21の温度に応じて、イメージャ21の撮像条件(輝度に対する出力画素値の関係)が補正される。
[3.効果]
以上説明したように、本実施形態のヘッドライト制御システム10では、ハイダイナミックレンジ特性を有するイメージャ21によって撮像された画像を、4種類のしきい値を用いて解析することで認識対象を検出する。このため、撮像感度を変えて撮像を複数回行う必要がなく、処理負荷やメモリ消費量を抑えつつ、認識対象の検出精度を向上させることができる。
また、イメージャ21の温度に応じて撮像条件(輝度に対する出力画素値の関係)を補正するため、出力画素値が温度の影響でばらつきやすいイメージャ21であっても、出力画素値のばらつきを抑えることができる。
また、低輝度域における単位輝度幅に対する出力画素値の幅が、高輝度域における単位輝度幅に対する出力画素値の幅と比較して、大きく設定されているため、低輝度の認識対象をノイズ等に埋もれにくくしつつ、高輝度の認識対象を飽和しにくくすることができ、広い輝度範囲を対象とすることができる。特に、輝度に対する出力画素値の関係が、傾きの異なる複数の直線関係で表されるため、輝度に対する出力画素値の関係を簡易的に表すことができる。
また、自車両に対して遠距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第1しきい値及び第2しきい値、並びに、近距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第3しきい値及び第4しきい値、の4種類のしきい値を用いて4種類の二値画像を生成し、生成した4種類の二値画像のそれぞれに基づいて認識対象を検出する。このため、先行車のテールライト及び対向車のヘッドライトを高い精度で検出することができる。特に、検出された認識対象を、遠方テールライト、遠方ヘッドライト、近傍テールライト、近傍ヘッドライト、の4種類に分類することも可能となるため、制御装置30による処理結果をより細かな制御に利用することが可能となる。
加えて、二値画像における輝度の高い複数の画素からなる画素群の形状に基づいて認識対象を検出するため、街灯等の外乱を認識対象として誤検出しにくくすることができる。
なお、本実施形態では、ヘッドライト制御システム10が認識対象検出装置に相当し、イメージャ21が撮像手段に相当し、温度センサ23が測定手段に相当する。また、CPU31の実行する図4の物体認識処理が検出手段としての処理に相当し、CPU31の実行する図8の温度補正処理が撮像条件補正手段としての処理に相当する。
[4.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
例えば、上記実施形態では、温度補正処理(図8)において、イメージャ21の温度に応じて撮像条件(輝度に対する出力画素値の関係)を補正するようにしているが、これに限定されるものではなく、撮像条件に代えてしきい値を補正するようにしてもよい。具体的には、図8のS24において、感度補正値とノイズ補正値とを掛け合わせた値を補正値として、第1〜第4しきい値をオフセット補正することで実現される。このようにすれば、イメージャ21の撮像条件を補正することなく、温度の影響によるイメージャ21の出力画素値のばらつきが認識対象の検出精度に与える影響を小さくすることができる。なお、この場合には、CPU31の実行する図8の温度補正処理がしきい値補正手段としての処理に相当する。
また、上記実施形態では、先行車のテールライトや対向車のヘッドライトを認識対象として検出する構成を例示したが、これに限定されるものではなく、例えば夜間の車両や標識を認識対象としてもよい。
10…ヘッドライト制御システム、20…カメラ、21…イメージャ、22…画像インタフェース、23…温度センサ、30…制御装置、31…CPU、32…メモリ、33…通信インタフェース、40…灯火制御装置、41…ヘッドライト

Claims (10)

  1. 撮像した画像を表す画像データを生成する撮像手段と、
    前記画像データの表す画像から認識対象を検出する検出手段と、
    を備える認識対象検出装置であって、
    前記撮像手段は、輝度に対する出力画素値の関係が輝度域に応じて異なるハイダイナミックレンジ特性を有し、
    前記検出手段は、前記画像データの表す画像の出力画素値を複数のしきい値で二値化して複数の二値画像を生成し、生成した前記複数の二値画像に基づいて前記認識対象を検出する
    ことを特徴とする認識対象検出装置。
  2. 請求項1に記載の認識対象検出装置であって、
    前記撮像手段の温度を測定する測定手段と、
    前記測定手段によって測定された温度に応じて、前記撮像手段の撮像条件を補正する撮像条件補正手段と、
    を更に備えることを特徴とする認識対象検出装置。
  3. 請求項2に記載の認識対象検出装置であって、
    前記撮像条件補正手段は、輝度に対する出力画素値の関係を補正する
    ことを特徴とする認識対象検出装置。
  4. 請求項1に記載の認識対象検出装置であって、
    前記撮像手段の温度を測定する測定手段と、
    前記測定手段によって測定された温度に応じて、前記しきい値を補正するしきい値補正手段と、
    を更に備えることを特徴とする認識対象検出装置。
  5. 請求項1から請求項4までのいずれか1項に記載の認識対象検出装置であって、
    前記撮像手段は、第1の輝度域における単位輝度幅に対する出力画素値の幅が、前記第1の輝度域よりも輝度が高い第2の輝度域における前記単位輝度幅に対する出力画素値の幅と比較して、大きく設定されている
    ことを特徴とする認識対象検出装置。
  6. 請求項5に記載の認識対象検出装置であって、
    前記第1の輝度域と前記第2の輝度域とは隣接しており、
    第1の距離に位置する前記認識対象の輝度及び前記第1の距離よりも短い第2の距離に位置する前記認識対象の輝度を少なくとも測定して得られた輝度分布であって、前記第1の距離に位置する前記認識対象が前記第2の距離に位置する前記認識対象と比較して低い輝度を示す輝度分布に基づいて、前記第1の輝度域における前記単位輝度幅に対する出力画素値の幅及び前記第2の輝度域における前記単位輝度幅に対する出力画素値の幅が設定されており、
    前記第1の輝度域と前記第2の輝度域との境界位置が、前記輝度分布に基づいて設定されている
    ことを特徴とする認識対象検出装置。
  7. 請求項1から請求項までのいずれか1項に記載の認識対象検出装置であって、
    前記撮像手段は、輝度に対する出力画素値の関係が、傾きの異なる複数の直線関係で表される
    ことを特徴とする認識対象検出装置。
  8. 請求項1から請求項までのいずれか1項に記載の認識対象検出装置であって、
    前記検出手段は、前記二値画像における輝度の高い複数の画素からなる画素群の形状に基づいて前記認識対象を検出する
    ことを特徴とする認識対象検出装置。
  9. 請求項1から請求項までのいずれか1項に記載の認識対象検出装置であって、
    前記撮像手段は、自車前方を撮像し、
    前記検出手段は、先行車のテールライト及び対向車のヘッドライトを前記認識対象として検出する
    ことを特徴とする認識対象検出装置。
  10. 請求項に記載の認識対象検出装置であって、
    前記検出手段は、自車両に対して遠距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第1しきい値及び第2しきい値、並びに、自車両に対して近距離に位置する先行車のテールライト及び対向車のヘッドライトをそれぞれ検出するために設定された第3しきい値及び第4しきい値、の4種類のしきい値を用いて、前記画像データの表す画像の出力画素値を二値化して4種類の前記二値画像を生成し、生成した前記4種類の二値画像のそれぞれに基づいて前記認識対象を検出する
    ことを特徴とする認識対象検出装置。
JP2011126474A 2011-06-06 2011-06-06 認識対象検出装置 Active JP5370413B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011126474A JP5370413B2 (ja) 2011-06-06 2011-06-06 認識対象検出装置
US13/486,366 US8953839B2 (en) 2011-06-06 2012-06-01 Recognition object detecting apparatus
DE102012209488A DE102012209488A1 (de) 2011-06-06 2012-06-05 Erkennungsobjekt-Erfassungsvorrichtung
US14/593,136 US9690997B2 (en) 2011-06-06 2015-01-09 Recognition object detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011126474A JP5370413B2 (ja) 2011-06-06 2011-06-06 認識対象検出装置

Publications (2)

Publication Number Publication Date
JP2012250668A JP2012250668A (ja) 2012-12-20
JP5370413B2 true JP5370413B2 (ja) 2013-12-18

Family

ID=47173600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011126474A Active JP5370413B2 (ja) 2011-06-06 2011-06-06 認識対象検出装置

Country Status (3)

Country Link
US (1) US8953839B2 (ja)
JP (1) JP5370413B2 (ja)
DE (1) DE102012209488A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840852B1 (ko) * 2011-10-10 2018-03-22 삼성전자주식회사 모바일 장치의 표면 온도 관리 방법 및 멀티칩 패키지의 메모리 열관리 방법
JP5722266B2 (ja) * 2012-03-30 2015-05-20 日立オートモティブシステムズ株式会社 光点検出装置
US20140022431A1 (en) * 2012-07-19 2014-01-23 Nanyang Innovation & Enterprise Office Cmos image sensor
BR112015001861B1 (pt) * 2012-07-27 2022-05-31 Nissan Motor Co., Ltd Dispositivo de detecção de objeto tridimensional
DE102012024658A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Einstellen einer Bildrate einer Kamera, Kamera und Kraftfahrzeug
FR3002824A1 (fr) * 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
JP6227898B2 (ja) * 2013-05-29 2017-11-08 株式会社Subaru 画像処理装置
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
JP6214290B2 (ja) * 2013-09-09 2017-10-18 株式会社Subaru 前照灯制御装置
JP6118695B2 (ja) * 2013-09-27 2017-04-19 富士フイルム株式会社 電子内視鏡装置
US9852502B2 (en) 2014-10-27 2017-12-26 Denso Corporation Image processing apparatus
JP6493087B2 (ja) 2015-08-24 2019-04-03 株式会社デンソー 車載カメラ装置
JP6527455B2 (ja) * 2015-12-02 2019-06-05 株式会社Subaru 車外環境認識装置
JP6645394B2 (ja) 2016-10-03 2020-02-14 株式会社デンソー 画像センサ
JP6693387B2 (ja) * 2016-11-07 2020-05-13 株式会社デンソー 画像処理装置
CN110087946B (zh) * 2016-12-15 2023-01-10 株式会社小糸制作所 车辆用照明***和车辆
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
WO2019186863A1 (ja) 2018-03-29 2019-10-03 三菱電機株式会社 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
DE112018007190T5 (de) 2018-03-29 2020-12-10 Mitsubishi Electric Corporation Fahrzeugbeleuchtungssteuerungsvorrichtung,fahrzeugbeleuchtungssteuerungsverfahren undfahrzeugbeleuchtungssteuerungsprogramm
DE102021005330A1 (de) 2021-10-26 2021-12-30 Daimler Ag Bestimmung einer Position von Fahrzeugen und Verfahren zur automatischen Leuchtweitenregulierung

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0434565A (ja) 1990-05-31 1992-02-05 Toshiba Corp 画像形成装置
JP3112325B2 (ja) * 1991-12-20 2000-11-27 ミノルタ株式会社 画像入力方法及び装置
JP3014895B2 (ja) * 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
JP3503230B2 (ja) * 1994-12-15 2004-03-02 株式会社デンソー 夜間用車両認識装置
JPH10269352A (ja) 1997-03-26 1998-10-09 Oji Paper Co Ltd 画像処理装置および方法
US6611610B1 (en) 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4314979B2 (ja) * 2003-11-25 2009-08-19 株式会社デンソー 白線検出装置
JP4853160B2 (ja) * 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
JP4722101B2 (ja) 2007-09-04 2011-07-13 日立オートモティブシステムズ株式会社 配光等の自動車の制御装置
JP4894824B2 (ja) * 2008-07-09 2012-03-14 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
JP4482599B2 (ja) 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
JP2010141583A (ja) * 2008-12-11 2010-06-24 Ricoh Co Ltd 撮像装置、画像データ補正方法、プログラム及び記録媒体
US8493446B2 (en) * 2009-04-17 2013-07-23 International Business Machines Corporation Intelligent headlight control using camera sensors
JP5303445B2 (ja) 2009-12-21 2013-10-02 ジヤトコ株式会社 パーキング機構

Also Published As

Publication number Publication date
JP2012250668A (ja) 2012-12-20
US20120308082A1 (en) 2012-12-06
DE102012209488A1 (de) 2012-12-06
US8953839B2 (en) 2015-02-10

Similar Documents

Publication Publication Date Title
JP5370413B2 (ja) 認識対象検出装置
JP5375814B2 (ja) 露出制御装置
JP4248558B2 (ja) 道路区画線検出装置
US9690997B2 (en) Recognition object detecting apparatus
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP4433046B2 (ja) 露出制御装置及び露出制御プログラム
US9807320B2 (en) Operation input device, operation input method, and computer-readable recording medium
JP4191759B2 (ja) 車両用オートライトシステム
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP2010092422A (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
JP2012226513A (ja) 検知装置、及び検知方法
JP4400512B2 (ja) 車載カメラ制御装置
JP5427744B2 (ja) 画像処理装置
JP4992129B2 (ja) 光通信装置
JP2012138688A (ja) 車載カメラの露出制御値の決定方法
JP4315175B2 (ja) 光検出方法および光検出装置
JP6827240B2 (ja) 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
US10878542B2 (en) Method and system for filtering thermal image data
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置
JP2010221756A (ja) 車両灯火判定装置
JP4052299B2 (ja) カメラ式車両感知器における露光制御方法及び装置
US11012630B1 (en) Image processor and image processing method
US20230289986A1 (en) Range finding device, control method for range finding device, and storage medium
WO2023090067A1 (ja) 画像認識システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R151 Written notification of patent or utility model registration

Ref document number: 5370413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250