≪第1実施形態≫
図1は、本実施形態に係る立体物検出装置1を搭載した車両の概略構成図である。本実施形態に係る立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車線に存在する他車両(以下、隣接車両V2ともいう)を検出することを目的とする。本実施形態に係る立体物検出装置1は、図1に示すように、カメラ10と、車速センサ20と、計算機30とを備える。
カメラ10は、図1に示すように、自車両V1の後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように車両V1に取り付けられている。カメラ10は、この位置から自車両V1の周囲環境のうちの所定領域を撮像する。車速センサ20は、自車両V1の走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機30は、自車両後方の隣接車線に存在する隣接車両の検出を行う。
図2は、図1の自車両V1の走行状態を示す平面図である。同図に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角aは、自車両V1が走行する車線に加えて、その左右の車線(隣接車線)についても撮像可能な画角に設定されている。
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20についても図示する。
図3に示すように、計算機30は、視点変換部31と、位置合わせ部32と、立体物検出部33と、昼夜判定部34と、エッジ抽出領域設定部35と、エッジ強度算出部36と、閾値変更部37とを備える。以下に、それぞれの構成について説明する。
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰視画像データを順次入力し、入力した異なる時刻の鳥瞰視画像データの位置を合わせる。図4は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両V1の移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
図4(a)に示すように、現時刻の自車両V1がP1に位置し、一時刻前の自車両V1がP1’に位置していたとする。また、自車両V1の後側方向に隣接車両V2が位置して自車両V1と並走状態にあり、現時刻の隣接車両V2がP2に位置し、一時刻前の隣接車両V2がP2’に位置していたとする。さらに、自車両V1は、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
このような状態において、現時刻における鳥瞰視画像PBtは図4(b)に示すようになる。この鳥瞰視画像PBtでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P2)については倒れ込みが発生する。また、一時刻前における鳥瞰視画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、隣接車両V2(位置P2’)については倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
位置合わせ部32は、上記のような鳥瞰視画像PBt,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰視画像PBtと位置を一致させる。図4(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図4(a)に示した自車両V1の実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
なお、本実施形態において、位置合わせ部32は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。たとえば、同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。
また、位置合わせ後において位置合わせ部32は、鳥瞰視画像PBt,PBt−1の差分をとり、差分画像PDtのデータを生成する。ここで、本実施形態において、位置合わせ部32は、照度環境の変化に対応するために、鳥瞰視画像PBt,PBt−1の画素値の差を絶対値化し、当該絶対値が所定の差分閾値th以上であるときに、差分画像PDtの画素値を「1」とし、絶対値が所定の差分閾値th未満であるときに、差分画像PDtの画素値を「0」とすることで、図4(b)の右側に示すような差分画像PDtのデータを生成することができる。なお、本実施形態において、差分閾値thの値は、後述する閾値変更部37により変更され、閾値変更部37により差分閾値thが変更された場合には、閾値変更部37により変更された差分閾値thを用いて、差分画像PDtの画素値が検出される。
そして、立体物検出部33は、図4(b)に示す差分画像PDtのデータに基づいて、差分波形を生成する。この際、立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出および移動距離の算出にあたり、立体物検出部33は、まず差分波形を生成する。
差分波形の生成にあたって立体物検出部33は、差分画像PDtにおいて検出領域(検出枠)を設定する。本例の立体物検出装置1は、自車両V1が車線変更する際に接触の可能性がある隣接車両について移動距離を算出することを目的とするものである。このため、本例では、図2に示すように自車両V1の後側方に矩形状の検出領域(検出枠)A1,A2を設定する。なお、このような検出領域A1,A2は、自車両V1に対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、立体物検出装置1は、例えば既存の白線認識技術等を利用するとよい。
また、立体物検出部33は、図2に示すように、設定した検出領域A1,A2の自車両V1側における辺(走行方向に沿う辺)を接地線L1,L2として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の隣接車両V2の位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
図5は、立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PDt(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、差分波形DWtを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWtを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で差分波形DWtを生成する。
具体的に説明すると、まず立体物検出部33は、差分画像PDtのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。本実施形態では、所定の差分を示す差分画素DPは、差分画像PDtの画素値が「0」「1」で表現されており、「1」を示す画素が、差分画素DPとしてカウントされる。
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図5右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図5右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図5右図に示すように差分波形DWtを生成する。
ここで、差分画像PDtのデータ上における差分画素PDは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWtを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWtを生成することとなる。
なお、図5左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWtに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWtの値はほぼ同じとなっている。
差分波形DWtの生成後、立体物検出部33は、生成した差分波形DWtに基づいて、隣接車線に存在している隣接車両の検出を行う。ここで、図6は、立体物検出部33による立体物の検出方法を説明するための図であり、差分波形DWtおよび立体物を検出するための閾値αの一例を示している。立体物検出部33は、図6に示すように、生成した差分波形DWtのピークが、当該差分波形DWtのピーク位置に対応する所定の閾値α以上であるか否かを判断することで、検出領域A1,A2に立体物が存在するか否かを判断する。そして、立体物検出部33は、差分波形DWtのピークが所定の閾値α未満である場合には、検出領域A1,A2に立体物が存在しないと判断し、一方、差分波形DWtのピークが所定の閾値α以上である場合には、検出領域A1,A2に立体物が存在すると判断する。
さらに、立体物検出部33は、現時刻における差分波形DWtと一時刻前の差分波形DWt−1との対比により、立体物の移動速度を算出する。すなわち、立体物検出部33は、差分波形DWt,DWt−1の時間変化から、立体物の移動速度を算出する。
詳細に説明すると、立体物検出部33は、図7に示すように差分波形DWtを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図7は、立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図7に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向(図7の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWtとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
図8は、立体物検出部33により得られるヒストグラムの一例を示す図である。図8に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物(隣接車両V2)の移動距離を算出する。すなわち、図8に示す例において、立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τ*と算出する。このように、本実施形態では、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することが可能となる。なお、移動距離τ*は、自車両に対する立体物(隣接車両V2)の相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τ*と車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
このように、本実施形態では、異なる時刻に生成された差分波形DWtの誤差が最小となるときの差分波形DWtのオフセット量から立体物(隣接車両V2)の移動距離を算出することで、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。また、異なる時刻に生成された差分波形DWtを複数の小領域DWt1〜DWtnに分割することで、立体物のそれぞれの箇所を表わした波形を複数得ることができ、これにより、立体物のそれぞれの箇所毎にオフセット量を求めることができ、複数のオフセット量から移動距離を求めることができるため、移動距離の算出精度を向上させることができる。また、本実施形態では、高さ方向の情報を含む差分波形DWtの時間変化から立体物の移動距離を算出することで、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とが高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図9は、立体物検出部33による重み付けを示す図である。
図9に示すように、小領域DWm(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWmについて重みを小さくする。平坦な小領域DWmについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWmは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWmについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWtを複数の小領域DWt1〜DWtnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DWt1〜DWtnに分割しなくてもよい。この場合に、立体物検出部33は、差分波形DWtと差分波形DWt−1との誤差が最小となるときの差分波形DWtのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形DWt−1と現時刻における差分波形DWtとのオフセット量を求める方法は上記内容に限定されない。
なお、本実施形態において立体物検出部33は、自車両V1(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
図10は、立体物検出部33により得られるヒストグラムの他の例を示す図である。カメラ10の画角内に立体物の他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、いずれか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。これにより、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に立体物が複数台存在すると想定される。しかし、検出領域A1,A2内に複数の立体物が存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。これにより、本実施形態では、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
このように、本実施形態では、検出領域A1,A2内に存在する立体物を検出し、検出した立体物が隣接車両V2であるか否かを判断することで、隣接車両V2を検出することができる。
また、本実施形態は、カメラ10のレンズが白濁している(レンズ表面に水垢などによる白色の薄膜が形成されている)場合でも立体物を適切に検出するために、レンズが白濁しているか否かを判定し、レンズの白濁度合いに応じて上述した差分閾値thを変更する機能を備える。このような、機能を実現するため、本実施形態の計算機30は、昼夜判定部34、エッジ抽出領域設定部35、エッジ強度算出部36、および、閾値変更部37を備えている。以下に、これらの各構成について説明する。
昼夜判定部34は、カメラ10により撮像された撮像画像に基づいて、昼間であるか夜間であるかの判定を行う。昼夜判定部34による昼夜の判定方法は、特に限定されないが、たとえば、昼夜判定部34は、撮像画像全体の平均輝度を算出し、算出した平均輝度が所定値以上である場合には、昼間であると判断し、一方、算出した平均輝度が所定値未満である場合には、夜間である判定することができる。あるいは昼夜判定部34は、時刻に基づいて昼夜を判定してもよいし、照度計などのセンサの検出結果に基づいて昼夜を判定してもよい。
エッジ抽出領域設定部35は、撮像画像から所定量のエッジの抽出が期待される領域をエッジ抽出領域として設定する。また、エッジ抽出領域設定部35は、昼夜判定部34により夜間であると判定された場合と、昼間であると判定された場合とで異なる領域をエッジ抽出領域として設定する。以下においては、昼間に設定されるエッジ抽出領域を昼間エッジ抽出領域、夜間に設定されるエッジ抽出領域を夜間エッジ抽出領域として、エッジ抽出領域の設定方法について説明する。
具体的には、エッジ抽出領域設定部35は、昼夜判定部34により夜間と判定された場合には、図11に示すように、左右一対の道路端基準領域(左側道路端基準領域および右側道路端基準領域)を、夜間エッジ抽出領域として設定する。これら左右一対の道路端基準領域は、自車両V1の走行車線の左側に位置する道路端および右側に位置する道路端をそれぞれ含む領域であり、これらの道路端に対応する画像領域から、所定量のエッジの抽出が期待される領域である。
エッジ抽出領域設定部35は、カメラ10を原点とした世界座標系により、左右一対の道路端基準領域を設定するための複数の基準点を計算機30のメモリ(不図示)に記憶している。そして、エッジ抽出領域設定部35は、計算機30のメモリから道路端基準領域を設定するための複数の基準点を取得し、取得した基準点を世界座標系からカメラ座標系に変換する。ここで、図12(A)は、カメラ座標系に変換された道路端基準領域の基準点を示す図である。エッジ抽出領域設定部35は、図12(B)に示すように、カメラ座標系に変換した基準点を直線L1で結び、該直線L1から左右方向に所定距離d1だけ広げた領域を、左側道路端基準領域および右側道路端基準領域としてそれぞれ設定する。なお、図12(B)は、図12(A)のB部分の拡大図である。
また、エッジ抽出領域設定部35は、昼夜判定部34により昼間と判定された場合には、図13に示すように、道路端を基準とする左右一対の道路端基準領域に加えて、消失点近傍の地平線を基準とする地平線基準領域を、昼間エッジ抽出領域として設定する。地平線基準領域は、地平線を含む領域であり、地平線に対応する画像領域において所定量のエッジの抽出が期待される領域である。なお、昼間エッジ抽出領域のうち左右一対の道路端基準領域については、夜間エッジ抽出領域における左右一対の道路端基準領域と同様に設定することができるため、その説明は省略する。
エッジ抽出領域設定部35は、左右一対の道路端基準領域と同様に、カメラ10を原点とした世界座標系として、地平線基準領域を設定するための複数の基準点を計算機30のメモリ(不図示)に記憶している。そして、エッジ抽出領域設定部35は、計算機30のメモリから地平線基準領域を設定するための複数の基準点を取得し、取得した基準点を世界座標系からカメラ座標系に変換する。ここで、図14(A)は、カメラ座標系に変換された地平線基準領域の基準点を示す図である。なお、本実施形態では、図14(A)に示すように、画面の右側部分に対応する基準点のみがメモリに記憶されており、エッジ抽出領域設定部35は、まず、右側部分に対応する基準点をカメラ座標系に変換する。そして、エッジ抽出領域設定部35は、右側部分に対応する基準点を消失点を通る直線L2で鏡映させて、左側部分に対応する基準点を設定する。さらに、エッジ抽出領域設定部35は、14(B)に示すように、隣接する基準点を直線L2で結び、該直線L2から外側方向に(すなわち、直線L2よりも右側部分においては右側方向に、直線L2よりも左側部分においては左側方向に)所定距離d2だけ広げた領域を、地平線基準領域として設定する。なお、図14(B)は、図14(A)のB部分の拡大図である。
このように、エッジ抽出領域設定部35は、夜間であると判定された場合と、昼間であると判定された場合とで、異なるエッジ抽出領域を設定する。昼間においては、消失点近傍の地平線を基準とする地平線基準領域を昼間エッジ抽出領域として設定することで、遠近であり風景の変化の少ない消失点近傍の地平線から、エッジを安定して抽出することができる。また、昼間においては、地平線基準領域の他に、左右一対の道路端基準領域を昼間エッジ抽出領域として設定することで、消失点近傍の地平線上に森や林が存在するため地平線のエッジが抽出し難い場合や、西日やスミアにより地平線のエッジが抽出し難い場合に、左右一対の道路端基準領域からエッジを適切に抽出することができる。一方、夜間においては、輝度が低く遠景の地平線からエッジを抽出することは困難であることに加えて、自車両V1の真後ろを後続する他車両のヘッドライトが、消失点近傍の地平線上に現れたり消えたりするため、消失点近傍の地平線上のエッジを安定して抽出することが困難である。そのため、夜間においては、左右一対の道路端基準領域を夜間エッジ抽出領域として設定する。
エッジ強度算出部36は、エッジ抽出領域設定部35により設定されたエッジ抽出領域から被写体のエッジを抽出し、エッジ抽出領域のエッジの強度を算出する。具体的には、エッジ強度算出部36は、まず、夜間判定部34により昼間であると判定された場合には、昼間エッジ抽出領域、すなわち、地平線基準領域および左右一対の道路端基準領域の各領域から被写体のエッジを抽出し、夜間判定部34により夜間であると判定された場合には、夜間エッジ抽出領域、すなわち、左右一対の道路端基準領域の各領域から被写体のエッジを抽出する。なお、エッジ強度算出部36は、たとえば、撮像画像のうち、エッジ抽出領域を含む所定の画像範囲において、ラプラシアンフィルタを用いることで、撮像画像から被写体のエッジを抽出することができる。
エッジ抽出領域からエッジを抽出した後、エッジ強度算出部36は、抽出したエッジの強度に基づいてヒストグラムを生成する。なお、エッジ強度算出部36は、夜間判定部34により昼間であると判定された場合には、昼間エッジ抽出領域、すなわち、地平線基準領域および左右一対の道路端基準領域の各領域についてヒストグラムを生成し、夜間判定部34により夜間であると判定された場合には、夜間エッジ抽出領域、すなわち、左右一対の道路端基準領域の各領域についてヒストグラムを生成する。
ここで、図15は、エッジの強度に基づくヒストグラムの一例を示す図である。エッジ強度算出部36は、図15に示すように、エッジ抽出領域におけるエッジに基づいて、エッジの強度に応じたヒストグラムを生成する。
また、エッジ強度算出部36は、図15に示すように、生成したヒストグラムに基づいて、各エッジ抽出領域におけるエッジの強度の平均値を、エッジ強度平均値Saveとして算出するとともに、各エッジ抽出領域におけるエッジの強度の標準偏差σを算出し、エッジ強度平均値Saveにエッジの強度の標準偏差σを加算した値を、エッジ強度偏差Sσとして算出する。
さらに、エッジ強度算出部36は、図15に示すように、エッジ強度偏差Sσの値に基づいて、エッジ強度偏差Sσの重みを算出する。具体的には、エッジ強度算出部36は、図15に示すように、エッジ強度偏差Sσの値が所定のエッジ強度下限値Smin以下である場合には、エッジ強度偏差Sσの重みを0として算出し、エッジ強度偏差Sσが所定のエッジ強度上限値Smax以上である場合には、エッジ強度偏差Sσの重みを1として算出する。また、エッジ強度算出部36は、エッジ強度偏差Sσの値が、エッジ強度下限値Sminからエッジ強度上限値Smaxまでに範囲内である場合には、エッジ強度偏差Sσの値に応じて、エッジ強度偏差Sσの重みを0〜1の範囲内で算出する。
これにより、夜間判定部34により昼間であると判定された場合には、昼間エッジ抽出領域、すなわち、地平線基準領域および左右一対の道路端基準領域の各領域についてエッジ強度偏差Sσの重みが算出され、夜間判定部34により夜間であると判定された場合には、夜間エッジ抽出領域、すなわち、左右一対の道路端基準領域の各領域についてエッジ強度偏差Sσの重みが算出される。
なお、エッジ強度下限値Sminおよびエッジ強度上限値Smaxは、実験などにより適宜設定される固有の値であるが、昼間であるか夜間であるかに応じて異なる値が設定される。具体的には、昼間においては背景の輝度が高く被写体のエッジを検出し易いため、エッジ強度下限値Sminおよびエッジ強度上限値Smaxはともに比較的高い値に設定され、夜間においては背景の輝度が低く被写体のエッジを検出し難いため、エッジ強度下限値Sminおよびエッジ強度上限値Smaxはともに比較的低い値に設定される。このように、昼夜に応じてエッジ強度下限値Sminおよびエッジ強度上限値Smaxを変更することで、昼と夜との光環境の違いを加味して、エッジの検出し易さを適切に判断することができ、その結果、レンズが白濁しているかを適切に判断することができる。
そして、エッジ強度算出部36は、図16に示すように、算出したエッジ強度偏差Sσの重みに基づいて、各エッジ抽出領域におけるエッジの強度を対象エッジ強度として算出する。ここで、図16は、エッジ強度偏差Sσの重みと対象エッジ強度との関係を示す図である。図16に示すように、対象エッジ強度には、下限値Stminおよび上限値Stmaxが設定されており、エッジ強度偏差Sσの重みが0の場合には、対象エッジ強度として下限値Stminの値が算出され、エッジ強度偏差Sσの重みが1の場合には、対象エッジ強度として上限値Stmaxの値が算出される。また、図16に示すように、エッジ強度偏差Sσの重みと対象エッジ強度とは、下限値Stminから中間値Stmidまでの間においては線形(比例)の関係となっており、中間値Stmidから上限値Stmaxまでの間においてはガンマ変換により補正された関係となっている。エッジ強度算出部36は、図16に示すようなエッジ強度偏差Sσと対象エッジ強度との関係を示すマップを用いることで、エッジ強度偏差Sσの重みが0から0.5までの場合には、下限値Stminから中間値Stmidまでの範囲内において、エッジ強度偏差Sσの重みに応じた対象エッジ強度を算出し、また、エッジ強度偏差Sσの重みが0.5から1までの場合には、中間値Stmidと上限値Stmaxとの範囲内の値において、エッジ強度偏差Sσの重みに応じた対象エッジ強度を算出する。なお、対象エッジ強度の下限値Stminおよび上限値Stmaxは、実験などにより適宜設定することができるが、昼間であるか夜間であるかに応じて異なる値が設定される。
さらに、エッジ強度算出部36は、昼間と判定された場合には、昼間エッジ抽出領域のうち、地平線基準領域において検出された対象エッジ強度が所定値以上であるか否かを判定し、地平線基準領域において検出された対象エッジ強度が所定値以上である場合には、地平線基準領域において検出された対象エッジ強度を、差分閾値thの設定に用いる特定エッジ強度として特定する。一方、エッジ強度算出部36は、地平線基準領域において検出された対象エッジ強度が所定値未満である場合には、地平線基準領域および左右一対の道路端基準領域において検出された対象エッジ強度のうち、最も高い対象エッジ強度を、差分閾値thの設定に用いる特定エッジ強度として特定する。なお、上記の所定値は、実験などにより適宜設定されるが、対象エッジ強度がこの所定値以上であれば、地平線に起因するエッジを一定量検出できており、レンズの白濁度合いを適切に判定することが可能な値に設定される。
このように、地平線基準領域における対象エッジ強度が所定値以上である場合には、地平線基準領域で検出された対象エッジ強度を優先して特定エッジ強度として特定することで、遠景であり風景の変化の少ない地平線基準領域から地平線に起因するエッジを安定して抽出することができ、このように抽出された地平線に起因する対象エッジ強度を用いることで、レンズの白濁度合いを高い精度で判定することができる。一方、地平線基準領域における対象エッジ強度が所定値未満である場合には、地平線基準領域および左右一対の道路端基準領域における対象エッジ強度のうち、最も高い対象エッジ強度を特定エッジ強度として特定することで、地平線基準領域の地平線上に森や林などが存在して地平線基準領域からエッジを抽出し難い場合や、西日やスミアにより地平線基準領域からエッジを抽出し難い場合でも、左側道路端基準領域または右側道路端基準領域における対象エッジ強度に基づいて、レンズ白濁度合いを算出することができるため、レンズの白濁度合いを高い精度で判定することができる。
また、エッジ強度算出部36は、夜間と判定された場合には、夜間エッジ抽出領域に設定された左右一対の道路端基準領域のうち、左側道路端基準領域における対象エッジ強度を、左側検出領域A2の差分閾値thを設定するための特定エッジ強度として特定し、右側道路端基準領域における対象エッジ強度を、右側検出領域A1の差分閾値thを設定するための特定エッジ強度として特定する。夜間において、自車両V1よりも右側に街灯などの光源が存在し、一方、自車両V1よりも左側に光源が存在しない場合などでは、左右の検出領域A1,A2において光環境が大きく異なり、このような自車両V1周囲の光環境により、立体物の検出し易さも大きく異なる。そのため、本実施形態では、左側道路端基準領域における対象エッジ強度を左側検出領域A2の差分閾値thを設定するための特定エッジ強度として特定し、右側道路端基準領域における対象エッジ強度を右側検出領域A1の差分閾値thを設定するための特定エッジ強度として特定することで、左右一対の検出領域A1,A2のそれぞれにおいて、光環境に応じた適切な差分閾値thを設定することができ、これにより、立体物を高い精度で検出することが可能となる。
そして、エッジ強度算出部36は、このように特定した特定エッジ強度を、計算機30のメモリ(不図示)に記憶する。さらに、エッジ強度算出部36は、特定エッジ強度を所定の周期で繰り返し算出しており、過去に算出した特定エッジ強度を加味して、エッジ抽出領域における最終的なエッジの強度を、最終エッジ強度として算出する。たとえば、エッジ強度算出部36は、メモリに記憶された複数の特定エッジ強度のうち、新しく記憶された特定エッジ強度ほど重みを小さくして、所定時間内で算出された複数の特定エッジ強度の移動平均値を、最終エッジ強度として算出することができる。
閾値変更部37は、エッジ強度算出部36により算出された最終エッジ強度に基づいて、上述した差分閾値thを変更する。ここで、レンズに水垢などの異物が付着し、レンズが白濁している場合には、被写体からの光束の一部が異物により遮られたり、乱反射してしまい、被写体の像を鮮明に撮像することができない場合がある。そのため、レンズが白濁度合いが高いほど、被写体のエッジの強度は低くなり、その結果、エッジ強度算出部36により算出される最終エッジ強度は小さくなる傾向にある。そこで、閾値変更部37は、図17に示すように、最終エッジ強度が低いほど、レンズが白濁していると判断し、検出領域A1,A2における差分閾値thを低い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を適切に検出することができる。一方、閾値変更部37は、最終エッジ強度が高いほど、レンズは白濁していないと判断し、検出領域A1,A2における差分閾値thを高い値に変更する。これにより、ノイズを有効に抑制することができ、その結果、立体物の誤検出を有効に防止することができる。なお、図17は、差分閾値thとエッジ強度との関係を示す図である。
また、周囲が真っ暗な場合には、被写体のエッジを検出し難く、最終エッジ強度が低い値で算出される傾向にあるため、レンズが白濁していると誤判定され、レンズが実際に白濁していない場合でも差分閾値thが低い値で算出されてしまう場合があり、その結果、ノイズなどにより立体物の誤検出が生じてしまう可能性がある。そのため、閾値変更部37は、図17に示すように、周囲の輝度が超低輝度であり周囲が真っ暗であると判断できる場合には、周囲が真っ暗ではない場合と比較して、最終エッジ強度が比較的低い場合でも、差分閾値thが比較的高い値で算出されるように、差分閾値thと最終エッジ強度との関係を変化させる。これにより、周囲が真っ暗な場合に、立体物の誤検出が生じてしまうことを有効に防止することができる。なお、閾値変更部37は、撮像画像全体の輝度が周囲が真っ暗であると判定できる所定輝度以下である場合に、周囲が真っ暗であると判定することができる。
次に、本実施形態に係る隣接車両検出処理について説明する。図18は、第1実施形態の隣接車両検出処理を示すフローチャートである。図18に示すように、まず、計算機30により、カメラ10から撮像画像のデータの取得が行われ(ステップS101)、視点変換部31により、取得した撮像画像のデータに基づいて、鳥瞰視画像PBtのデータが生成される(ステップS102)。
次いで、位置合わせ部32は、鳥瞰視画像PBtのデータと、一時刻前の鳥瞰視画像PBt−1のデータとを位置合わせをし、差分画像PDtのデータを生成する(ステップS103)。具体的には、位置合わせ部32は、鳥瞰視画像PBt,PBt−1の画素値の差を絶対値化し、当該絶対値が所定の差分閾値th以上であるときに、差分画像PDtの画素値を「1」とし、絶対値が所定の差分閾値th未満であるときに、差分画像PDtの画素値を「0」とする。なお、差分画像PDtの画素値を算出するための差分閾値thは、後述する閾値変更処理において変更される場合があり、差分閾値thが変更された場合には、変更された差分閾値thが、このステップS103で用いられることとなる。その後、立体物検出部33は、差分画像PDtのデータから、画素値が「1」の差分画素DPの数をカウントして、差分波形DWtを生成する(ステップS104)。
そして、立体物検出部33は、差分波形DWtのピークが所定の閾値α以上であるか否かを判断する(ステップS105)。差分波形DWtのピークが閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像内には立体物が存在しないと考えられる。このため、差分波形DWtのピークが閾値α以上でないと判断した場合には(ステップS105=No)、立体物検出部33は、立体物が存在せず隣接車両V2が存在しないと判断する(ステップS114)。そして、ステップS101に戻り、図18に示す処理を繰り返す。
一方、差分波形DWtのピークが閾値α以上であると判断した場合には(ステップS105=Yes)、立体物検出部33により、隣接車線に立体物が存在すると判断され、ステップS106に進み、立体物検出部33により、差分波形DWtが、複数の小領域DWt1〜DWtnに分割される。次いで、立体物検出部33は、小領域DWt1〜DWtn毎に重み付けを行い(ステップS107)、小領域DWt1〜DWtn毎のオフセット量を算出し(ステップS108)、重みを加味してヒストグラムを生成する(ステップS109)。
そして、立体物検出部33は、ヒストグラムに基づいて自車両V1に対する立体物の移動距離である相対移動距離を算出する(ステップS110)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(ステップS111)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出するとともに、車速センサ20で検出された自車速を加算して、絶対移動速度を算出する。
その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、自車両V1に対する立体物の相対移動速度が+60km/h以下であるか否かを判断する(ステップS112)。双方を満たす場合には(ステップS112=Yes)、立体物検出部33は、検出した立体物は隣接車線に存在する隣接車両V2であり、隣接車線に隣接車両V2が存在すると判断する(ステップS113)。そして、図18に示す処理を終了する。一方、いずれか一方でも満たさない場合には(ステップS112=No)、立体物検出部33は、隣接車線に隣接車両V2が存在しないと判断する(ステップS114)。そして、ステップS101に戻り、図18に示す処理を繰り返す。
なお、本実施形態では自車両V1の左右後方を検出領域A1,A2とし、自車両V1が車線変更した場合に接触する可能性があるか否かに重点を置いている。このため、ステップS112の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、隣接車両V2の速度が10km/h未満である場合、たとえ隣接車両V2が存在したとしても、車線変更する際には自車両V1の遠く後方に位置するため問題となることが少ない。同様に、隣接車両V2の自車両V1に対する相対移動速度が+60km/hを超える場合(すなわち、隣接車両V2が自車両V1の速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両V1の前方に移動しているため問題となることが少ない。このため、ステップS112では車線変更の際に問題となる隣接車両V2を判断しているともいえる。
また、ステップS112において隣接車両V2の絶対移動速度が10km/h以上、且つ、隣接車両V2の自車両V1に対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を隣接車両V2であると判断してしまう可能性を低減することができる。また、ノイズによっては隣接車両V2の自車両V1に対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
さらに、ステップS112の処理に代えて、隣接車両V2の絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両V1が車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS113において隣接車両V2が検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
次に、図19を参照して、第1実施形態に係る閾値変更処理について説明する。図19は、第1実施形態に係る閾値変更処理を示すフローチャートである。なお、以下に説明する閾値変更処理は、図18に示す隣接車両検出処理と並行して行われ、この閾値変更処理により設定された差分閾値thが、図18に示す隣接車両検出処理における差分閾値thとして適用されることとなる。
図19に示すように、まず、ステップS201では、計算機30により、隣接車両V2を検知しているか否かの判断が行われる。計算器30は、たとえば、図18に示す隣接車両検出処理において、隣接車線に隣接車両V2が存在すると判断されている間は、隣接車両を検知していると判断して、ステップS201で待機し、一方、隣接車両V2を検知していないと判断した場合には、ステップS202に進む。
ステップS202では、昼夜判定部34により、夜間であるか昼間であるかの判断が行われる。たとえば、昼夜判定部34は、撮像画像全体の平均輝度を算出し、算出した平均輝度が所定値以上である場合には、昼間であると判定し、一方、算出した平均輝度が所定値未満である場合には、夜間であると判定することができる。昼間であると判定された場合はステップS203に進み、一方、夜間であると判定された場合はステップS214に進む。以下においては、まず、昼間であると判定された場合の閾値変更処理について説明する。
ステップS203では、エッジ抽出領域設定部35により、昼間エッジ抽出領域の設定が行われる。エッジ抽出領域設定部35は、昼間であると判定された場合には、図13に示すように、消失点近傍の地平線を基準とする地平線基準領域と、道路端を基準とする左右一対の道路端基準領域とを、昼間エッジ抽出領域として設定する。
ステップS204では、エッジ強度算出部36により、昼間エッジ抽出領域、すなわち、地平線基準領域および左右一対の道路端基準領域のそれぞれの領域において、被写体のエッジの抽出が行われる。
そして、ステップS205では、エッジ強度算出部36により、図15に示すように、ステップS204で抽出されたエッジに基づいて、昼間エッジ抽出領域である地平線基準領域および左右一対の道路端基準領域の各領域ごとに、エッジの強度に基づくヒストグラムの生成が行われる。
ステップS206では、エッジ強度算出部36により、図15に示すように、ステップS205で生成されたヒストグラムに基づいて、地平線基準領域および左右一対の道路端基準領域の各領域ごとに、エッジの強度の平均値がエッジ強度平均値Saveとして算出されるとともに、エッジの強度の標準偏差σが算出され、エッジ強度平均値Saveとエッジの強度の標準偏差σとを加算した値が、エッジ強度偏差Sσとして算出される。
ステップS207では、エッジ強度算出部36により、ステップS206で算出されたエッジ強度偏差Sσに基づいて、地平線基準領域および左右一対の道路端基準領域の各領域ごとに、エッジ強度偏差Sσの重みの算出が行われる。具体的には、エッジ強度算出部36は、図15に示すように、エッジ強度偏差Sσがエッジ強度下限値Smin以下である場合にはエッジ強度偏差Sσの重みを0として算出し、エッジ強度偏差Sσがエッジ強度上限値Smax以上である場合にはエッジ強度偏差Sσの重みを1として算出する。また、エッジ強度算出部36は、エッジ強度偏差Sσがエッジ強度下限値Sminからエッジ強度上限値Smaxまでに範囲内である場合には、エッジ強度偏差Sσの値に応じて、エッジ強度偏差Sσの重みを0〜1の範囲内で算出する。
ステップS208では、エッジ強度算出部36により、ステップS207で算出されたエッジ強度偏差Sσの重みに基づいて、地平線基準領域および左右一対の道路端基準領域の各領域におけるエッジの強度が対象エッジ強度として算出される。なお、エッジ強度算出部36は、図16に示すように、エッジ強度偏差Sσの重みと対象エッジ強度との関係を示すマップを用いることで、エッジ強度偏差Sσの重みに基づいて対象エッジ強度を算出することができる。
そして、ステップS209では、エッジ強度算出部36により、ステップS208で算出された昼間エッジ抽出領域の各領域における対象エッジ強度のうち、地平線基準領域における対象エッジ強度が所定値以上であるか否かの判断が行われる。地平線基準領域における対象エッジ強度が所定値以上である場合には、ステップS210に進み、エッジ強度算出部36により、昼間エッジ抽出領域のうち地平線基準領域における対象エッジ強度が、特定エッジ強度として特定される。一方、地平線基準領域における対象エッジ強度が所定値未満である場合には、ステップS211に進み、エッジ強度算出部36により、昼間エッジ抽出領域である地平線基準領域および左右一対の道路端基準領域における対象エッジ強度のうち、値が最も高い対象エッジ強度が、特定エッジ強度として特定される。
ステップS212では、エッジ強度算出部36により、ステップS210またはステップS211で特定された特定エッジ強度に基づいて、エッジ抽出領域における最終的なエッジの強度が最終エッジ強度として算出される。たとえば、エッジ強度算出部36は、過去に算出した特定エッジ強度を計算機30のメモリ(不図示)から取得し、現在から所定時間前までに算出された複数の特定エッジ強度のうち、新しく記憶された特定エッジ強度ほど重みを小さくして、これら複数の特定エッジ強度の移動平均値を、最終エッジ強度として算出することができる。
ステップS213では、閾値変更部37により、ステップS212で算出された最終エッジ強度に基づいて、左右一対の検出領域A1,A2における差分閾値thの変更が行われる。具体的には、閾値変更部37は、図17に示すように、最終エッジ強度が低いほど、レンズが白濁していると判断して、検出領域A1,A2における差分閾値thを低い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を適切に検出することができる。一方、閾値変更部37は、最終エッジ強度が高いほど、レンズは白濁していないと判断し、検出領域A1,A2における差分閾値thを高い値に変更する。これにより、ノイズの発生が抑制され、その結果、立体物の誤検出を有効に防止することができる。
また、本実施形態において、閾値変更部37は、このステップS213のように、昼間であると判定されてる場合には、最終エッジ強度に基づいて算出された同じ値の差分閾値thを、左右一対の検出領域A1,A2に設定する。ここで、昼間においては、自車両V1の周囲における光環境の変化が小さいため、地平線基準領域および左右一対の道路端基準領域のいずれのエッジに基づいて差分閾値thを算出した場合でも、算出した差分閾値thを、左右一対の検出領域A1,A2における差分閾値thとして設定することができる。そのため、昼間においては、地平線基準領域および左右一対の道路端基準領域において抽出されたエッジのうち、レンズの白濁度合いに最も対応するエッジに基づいて差分閾値thを算出し、該差分閾値thを、右側検出領域A1および左側検出領域A2の両方に設定することができ、これにより、右側検出領域A1および左側検出領域A2において、立体物を適切に検出することができる。
次に、夜間であると判定された場合の閾値変更処理について説明する。ステップS202で夜間であると判定された場合には、ステップS214に進む。ステップS214では、エッジ抽出領域設定部35により、夜間エッジ抽出領域の設定が行われる。具体的には、エッジ抽出領域設定部35は、図11に示すように、左右の道路端を基準とする左側道路端基準領域および右側道路端基準領域を、夜間エッジ抽出領域として設定する。
ステップS215〜ステップS219では、夜間エッジ抽出領域に設定された左側道路端基準領域および右側道路端基準領域において、ステップS204〜208と同様の処理が行われる。具体的には、夜間エッジ抽出領域として設定された左右一対の道路端基準領域において、被写体のエッジの抽出が行われ(ステップS215)、左右一対の道路端基準領域において抽出されたエッジに基づいて、図15に示すように、左右一対の道路端基準領域のそれぞれの領域に対応するヒストグラムの生成が行われる(ステップS216)。
次いで、生成されたヒストグラムに基づいて、左右一対の道路端基準領域の各領域ごとに、エッジ強度偏差Sσが算出され(ステップS217)、このエッジ強度偏差Sσの重みの算出が行われる(ステップS218)。そして、図16に示すように、算出したエッジ強度偏差Sσの重みに基づいて、夜間エッジ抽出領域に設定された左側道路端基準領域および右側道路端基準領域におけるエッジの強度が対象エッジ強度として算出される(ステップS219)。
ステップS220では、エッジ強度算出部36により、特定エッジ強度の特定が行われる。具体的には、エッジ強度算出部36は、夜間エッジ抽出領域に設定された左右一対の道路端基準領域のうち、左側道路端基準領域における対象エッジ強度を、左側検出領域A2における差分閾値thを設定するための特定エッジ強度として特定し、右側道路端基準領域における対象エッジ強度を、右側検出領域A1における差分閾値thを設定するための特定エッジ強度として特定する。なお、特定された特定エッジ強度は、特定された時刻と関連付けて、計算機30のメモリ(不図示)に記憶される。
ステップS221では、エッジ強度算出部36により、最終エッジ強度の算出が行われる。たとえば、エッジ強度算出部36は、夜間において、過去に算出された特定エッジ強度を計算機30のメモリ(不図示)から取得し、現在から所定時間前までに算出された複数の特定エッジ強度のうち、新しく記憶された特定エッジ強度ほど重みを小さくして、これら複数の特定エッジ強度の移動平均値を、最終エッジ強度として算出することができる。また、エッジ強度算出部36は、夜間であると判定された場合には、右側検出領域A1における差分閾値thを設定するための特定エッジ強度に基づいて、右側検出領域A1における差分閾値thを設定するための最終エッジ強度を算出し、左側検出領域A2における差分閾値thを設定するための特定エッジ強度に基づいて、左側検出領域A2における差分閾値thを設定するための最終エッジ強度を算出する。
そして、ステップS222では、閾値変更部37により、左右一対の検出領域A1,A2のうち右側検出領域A1における差分閾値thの設定が行われ、ステップS223では、閾値変更部37により、左右一対の検出領域A1,A2のうち左側検出領域A2における差分閾値thの設定が行われる。具体的には、閾値変更部37は、図17に示すように、ステップS221で算出された最終エッジ強度が低いほど、レンズが白濁していると判断して、検出領域A1,A2における差分閾値thを低い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を適切に検出することができる。一方、閾値変更部37は、最終エッジ強度が高いほど、レンズは白濁していないと判断し、検出領域A1,A2における差分閾値thを高い値に変更する。これにより、ノイズの発生が抑制され、その結果、立体物の誤検出を有効に防止することができる。
また、夜間であると判定されている場合、閾値変更部37は、ステップS221で算出された右側道路端基準領域における最終エッジ強度に基づいて、図17に示すように、右側検出領域A1における差分閾値thを算出することで、右側検出領域A1における差分閾値thを設定する。同様に、ステップS223において、閾値変更部37は、ステップS221で算出された左側道路端基準領域における最終エッジ強度に基づいて、図17に示すように、左側検出領域A2における差分閾値thを算出することで、左側検出領域A2における差分閾値thを設定する。このように、閾値変更部37は、夜間であると判定されてる場合には、左側検出領域A1における差分閾値thと、右側検出領域A2における差分閾値thとを別々に設定する。これにより、夜間において、自車両V1の右側と左側とにおいて光環境が異なる場合でも、立体物を適切に検出することができる。
また、閾値変更部37は、図17において破線で示すように、周囲が真っ暗な場合には、周囲が真っ暗ではない場合と比較して、最終エッジ強度が比較的低い場合でも、差分閾値thが比較的高い値で算出されるように、差分閾値thと対象エッジ強度との関係を変化させる。これにより、周囲が真っ暗であり被写体のエッジを検出し難い場合に、レンズが白濁していると誤判定され、立体物の誤検出が生じてしまうことを有効に防止することができる。
以上のように、第1実施形態では、昼間または夜間において、所定量のエッジの抽出が期待される領域をエッジ抽出領域として設定し、エッジ抽出領域におけるエッジの強度に基づいて、差分閾値thを算出する。具体的には、図17に示すように、エッジ抽出領域におけるエッジの強度(最終エッジ強度)が低いほど、レンズが白濁していると判定し、差分閾値thを低い値に設定する。これにより、立体物が検出し易くなり、レンズが白濁している場合でも、立体物を適切に検出することができる。また、図17に示すように、エッジ抽出領域におけるエッジの強度(最終エッジ強度)が高いほど、レンズが白濁していないと判定し、差分閾値thを高い値に変更する。これにより、レンズが白濁していない場合に、ノイズなどによる立体物の誤検出を有効に防止することができる。
また、第1実施形態では、昼間と判定された場合には、左右一対の検出領域A1,A2において同じ値の差分閾値thが設定され、夜間と判定された場合には、左右一対の検出領域A1,A2のそれぞれの光環境に応じて差分閾値thが設定される。そのため、第1実施形態では、昼間と判定された場合の左右一対の検出領域A1,A2間における差分閾値thの差は、夜間と判定された場合の左右一対の検出領域A1,A2間における差分閾値thの差以下となる。昼間と判定された場合には、右側検出領域A1と左側検出領域A2との光環境の違いは小さいと判断されるため、右側検出領域A1および左側検出領域A2の両方において最終エッジに基づく適切な差分閾値thを設定することができ、これにより、右側検出領域A1および左側検出領域A2において、立体物を適切に検出することができる。また、夜間と判定された場合には、光源の影響などにより右側検出領域A1と左側検出領域A2との光環境の違いが大きくなる場合があるものと判断されるため、左右一対の検出領域A1,A2のそれぞれの光環境に応じて差分閾値thを設定することで、周囲の光環境に応じて適切に立体物を検出することができる。
さらに、第1実施形態では、隣接車両V2が検知されているか否かを判断し、隣接車両V2が検知されている場合には、エッジ抽出領域のエッジの強度に基づく差分閾値thの変更を禁止する。これにより、地平線や道路端などを基準とするエッジ抽出領域におけるエッジの強度を算出する際に、隣接車両V2に起因するエッジの影響を低減することができ、エッジ抽出領域から、レンズの白濁度合いに応じたエッジの強度を適切に検出することができる。
《第2実施形態》
続いて、第2実施形態に係る立体物検出装置1aについて説明する。第2実施形態に係る立体物検出装置1aは、図20に示すように、第1実施形態の計算機30に代えて、計算機30aを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図20は、第2実施形態に係る計算機30aの詳細を示すブロック図である。
第2実施形態にかかる立体物検出装置1aは、図20に示すように、カメラ10と計算機30aとを備えており、計算機30aは、視点変換部31、輝度差算出部38、エッジ線検出部39、立体物検出部33a、昼夜判定部34、エッジ抽出領域設定部35、エッジ強度算出部36、閾値変更部37aから構成されている。以下に、第2実施形態に係る立体物検出装置1aの各構成について説明する。なお、視点変換部31、昼夜判定部34、エッジ抽出領域設定部35、およびエッジ強度算出部36については、第1実施形態と同様の構成であるため、その説明は省略する。
図21は、図20のカメラ10の撮像範囲等を示す図であり、図21(a)は平面図、図21(b)は、自車両V1から後側方における実空間上の斜視図を示す。図21(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両V1から後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両V1が走行する車線に加えて、隣接する車線も含まれるように設定されている。
本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d1〜d4に基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図2に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
ここで、距離d1は、自車両V1から接地線L1,L2までの距離である。接地線L1,L2は、自車両V1が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両V1の後側方において自車両V1の車線に隣接する左右の車線を走行する隣接車両V2等(2輪車等を含む)を検出することが目的である。このため、自車両V1から白線Wまでの距離d11及び白線Wから隣接車両V2が走行すると予測される位置までの距離d12から、隣接車両V2の接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機30aは、白線認識等の技術により自車両V1に対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、隣接車両V2が走行する位置(白線Wからの距離d12)及び自車両V1が走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両V1の後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が隣接車両V2等であるため、距離d3は、隣接車両V2を含む長さに設定される。
距離d4は、図21(b)に示すように、実空間において隣接車両V2等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図21(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの隣隣接車線)を含まない長さとすることもできる。自車両V1の車線から2車線隣の車線を含んでしまうと、自車両V1が走行している車線である自車線の左右の隣接車線に隣接車両V2が存在するのか、2車線隣りの隣隣接車線に隣隣接車両が存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図21(b)に示すように、自車両V1から後側方における実空間上では真四角(長方形)となる。
輝度差算出部38は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部38は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部38は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
ここでは、鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部38は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部38は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部38の動作について詳細に説明する。
輝度差算出部38は、図22(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また輝度差算出部38は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ10の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
輝度差算出部38は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また輝度差算出部38は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図22(b)に示す関係となる。図22(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
輝度差算出部38は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。特に、第2実施形態では、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分として鉛直仮想線を設定しているため、注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。このため、図20に示すエッジ線検出部39は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
この点をより詳細に説明する。図23は、輝度差算出部38の詳細動作を示す図であり、図23(a)は鳥瞰視された状態の鳥瞰視画像を示し、図23(b)は、図23(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお図23についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
カメラ10が撮像した撮像画像内に隣接車両V2が映っていた場合に、図23(a)に示すように、鳥瞰視画像内の検出領域A1に隣接車両V2が現れる。図23(b)に図23(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、隣接車両V2のタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部38は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1aにおいて、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば隣接車両V2のタイヤのゴムから10cm相当だけ離れた隣接車両V2のタイヤのホイール上に設定される。
次に、輝度差算出部38は、注目線La上に複数の注目点Pa1〜PaNを設定する。図23(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部38は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。そして、輝度差算出部38は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部38は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素の輝度差を算出する。輝度差算出部38は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部38は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部38は、第3〜第N注目点Pa3〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
輝度差算出部38は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部38は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部38は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
このように、第2実施形態では、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めることで、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。また、実空間において鉛直方向に伸びる鉛直仮想線同士の輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはなく、立体物の検出精度を向上させることができる。
図20に戻り、エッジ線検出部39は、輝度差算出部38により算出された連続的な輝度差から、エッジ線を検出する。例えば、図23(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部39は、輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
具体的には、エッジ線検出部39は、エッジ線を検出するにあたり、先ず下記式1に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
[式1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
上記式1において、tはエッジ閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記式1によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priからエッジ閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘−1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。なお、本実施形態において、エッジ閾値tは、後述する閾値変更部37aにより変更される場合があり、閾値変更部37aによりエッジ閾値tが変更された場合には、閾値変更部37aにより変更されたエッジ閾値tを用いて、注目点Paiの属性s(xi,yi)が検出される。
次にエッジ線検出部39は、下記式2に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
[式2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
次にエッジ線検出部39は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部39は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。そして、エッジ線検出部39は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
すなわち、エッジ線検出部39は、下記式3に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部39は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
[式3]
Σc(xi,yi)/N>θ
このように、第2実施形態では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図24は、エッジ線検出部39の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部39は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部39は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
図20に戻り、立体物検出部33aは、エッジ線検出部39により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置1aは、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部33aは、エッジ線検出部39により検出されたエッジ線の量に基づいて立体物を検出する。具体的には、立体物検出部33aは、エッジ線検出部39により検出されたエッジ線の量が、所定の閾値β以上であるか否かを判断し、エッジ線の量が所定の閾値β以上である場合には、エッジ線検出部39により検出されたエッジ線は、立体物のエッジ線であるものと判断する。
さらに、立体物検出部33aは、立体物を検出するに先立って、エッジ線検出部39により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部33aは、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値tb以上である否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値tb未満である場合には、当該エッジ線が正しいものと判定する。なお、この閾値tbは、実験等により予め設定された値である。
図25は、エッジ線の輝度分布を示す図であり、図25(a)は検出領域A1に立体物としての隣接車両V2が存在した場合のエッジ線及び輝度分布を示し、図25(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
図25(a)に示すように、鳥瞰視画像において隣接車両V2のタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰視画像に視点変換されたことにより、隣接車両のタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図25(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部33aは、エッジ線が誤判定により検出されたものか否かを判定する。たとえば、カメラ10により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。上述したように、隣接車両V2のタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。そのため、立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb以上である場合には、当該エッジ線が誤判定により検出されたものであり、当該エッジ線は、立体物に起因するものではないと判断する。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。一方、立体物検出部33aは、エッジ線に沿った輝度変化が所定の閾値tb未満である場合には、当該エッジ線は、立体物のエッジ線であると判断し、立体物が存在するものと判断する。
具体的には、立体物検出部33aは、下記式4,5の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記式4は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記式5は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
[式4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}2]
[式5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
なお、上記式5に限らず、下記式6のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
[式6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部33aは、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めることで、エッジ線が立体物に起因するものであり、立体物が存在するか否かを判定する。
閾値変更部37aは、エッジ強度算出部36により算出された最終エッジ強度に基づいて、上述したエッジ閾値tを変更する。具体的には、閾値変更部37aは、最終エッジ強度が低いほど、レンズが白濁していると判断し、検出領域A1,A2におけるエッジ閾値tを低い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を検出し易くなる。一方、閾値変更部37aは、最終エッジ強度が高いほど、レンズは白濁していないと判断し、検出領域A1,A2におけるエッジ閾値tを高い値に変更する。これにより、ノイズなどを抑制し易くなり、その結果、立体物の誤検出を有効に防止することができる。
次に、図26を参照して、第2実施形態に係る隣接車両検出方法について説明する。図26は、第2実施形態に係る隣接車両検出方法の詳細を示すフローチャートである。なお、図26においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
ステップS301では、カメラ10により、画角a及び取付位置によって特定された所定領域の撮像が行われ、計算機30aにより、カメラ10により撮像された撮像画像Pの画像データが取得される。次に視点変換部31は、ステップS302において、取得した画像データについて視点変換を行い、鳥瞰視画像データを生成する。
次に輝度差算出部38は、ステップS303において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部38は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。次に輝度差算出部38は、ステップS304において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部38は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に輝度差算出部38は、ステップS305において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部38は、エッジ線検出部39によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。また、輝度差算出部38は、ステップS306において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
次に輝度差算出部38は、ステップS307において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。そして、エッジ線検出部39は、輝度差算出部38により算出された輝度差に基づいて、上記式1に従って、各注目点Paの属性sを算出する。なお、本実施形態では、立体物のエッジを検出するためのエッジ閾値tを用いて、各注目点Paの属性sが算出される。このエッジ閾値tは、後述する閾値変更処理において変更される場合があり、エッジ閾値tが変更された場合には、変更されたエッジ閾値が、このステップS307で用いられることとなる。
次にエッジ線検出部39は、ステップS308において、上記式2に従って、各注目点Paの属性sの連続性cを算出する。そして、エッジ線検出部39は、ステップS309において、上記式3に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。そして、正規化した値が閾値θよりも大きいと判断した場合(ステップS309=Yes)、エッジ線検出部39は、ステップS310において、当該注目線Laをエッジ線として検出する。そして、処理はステップS311に移行する。正規化した値が閾値θより大きくないと判断した場合(ステップS309=No)、エッジ線検出部39は、当該注目線Laをエッジ線として検出せず、処理はステップS311に移行する。
ステップS311において、計算機30aは、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS303〜ステップS310の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(ステップS311=No)、ステップS303に処理を戻して、新たに注目線Laを設定して、ステップS311までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(ステップS311=Yes)、処理はステップS312に移行する。
ステップS312において、立体物検出部33aは、ステップS310において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部33aは、上記式4,5,6の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部33aは、ステップS313において、エッジ線のうち、輝度変化が所定の閾値tb以上のエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値tbとは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。一方、立体物検出部33aは、エッジ線のうち、輝度変化が所定の閾値tb未満であるエッジ線を、立体物のエッジ線と判断し、これにより、隣接車両に存在する立体物を検出する。
次いで、ステップS314では、立体物検出部33aにより、エッジ線の量が、所定の閾値β以上であるか否かの判断が行われる。ここで、閾値βは、予め実験等によって求めておいて設定された値であり、たとえば、検出対象の立体物として四輪車を設定した場合に、当該閾値βは、予め実験等によって検出領域A1内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が閾値β以上であると判定された場合(ステップS314=Yes)、立体物検出部33aは、検出領域A1内に立体物が存在するものと判断し、ステップS315に進み、隣接車両が存在すると判定される。一方、エッジ線の量が閾値β以上ではないと判定された場合(ステップS314=No)、立体物検出部33aは、検出領域A1内に立体物が存在しないものと判断し、ステップS316に進み、検出領域A1内に隣接車両が存在しないと判定される。
続いて、図27を参照して、第2実施形態に係る閾値変更処理について説明する。なお、第2実施形態に係る閾値変更処理も、第1実施形態と同様に、図26に示す隣接車両検出処理と並行して行われる。また、この閾値変更処理は、レンズが白濁している場合でも、隣接車両V2を適切に検出することができるように、立体物を検出するためのエッジ閾値tを変更するものである。そのため、この閾値変更処理において変更されたエッジ閾値tは、図26に示す隣接車両検出処理において、隣接車両V2のエッジを検出する際に用いられることとなる。なお、図27は、第2実施形態に係る閾値変更処理を示すフローチャートである。
図27に示すように、ステップS401では、第1実施形態のステップS201と同様に、隣接車両V2を検知しているか否かの判断が行われ、隣接車両V2を検知している場合には、ステップS401で待機し、隣接車両V2を検知していない場合には、ステップS402に進む。そして、ステップS402では、第1実施形態のステップS202と同様に、昼間であるか夜間であるかの判定が行われ、昼間であると判定された場合には、ステップS403に進み、夜間であると判定された場合には、ステップS414に進む。
ステップS403〜S412では、第1実施形態のステップS203〜S212と同様の処理が実行される。すなわち、まず、昼間エッジ抽出領域の設定が行われ(ステップS403)、昼間エッジ抽出領域である地平線基準領域および左右一対の道路端基準領域において被写体のエッジの抽出が行われる(ステップS404)。
次いで、地平線基準領域および左右一対の道路端基準領域ごとに、抽出されたエッジの強度に基づくヒストグラムが生成され(ステップS405)、地平線基準領域および左右一対の道路端基準領域について、エッジ強度偏差Sσの算出(ステップS406)と、エッジ強度偏差Sσの重み(ステップS407)の算出とが行われる。
そして、エッジ強度偏差Sσの重みに基づいて、地平線基準領域および左右一対の道路端基準領域におけるエッジの強度が対象エッジ強度として算出され(ステップS408)、地平線基準領域における対象エッジ強度が所定値以上であるか否かの判断が行われる(ステップS409)。地平線基準領域における対象エッジ強度が所定値以上である場合には(ステップS409=Yes)、昼間エッジ抽出領域のうち地平線基準領域における対象エッジ強度が、特定エッジ強度として特定される(ステップS410)。一方、地平線基準領域における対象エッジ強度が所定値未満である場合には(ステップS409=No)、地平線基準領域および左右一対の道路端基準領域における対象エッジ強度のうち、最も高い対象エッジ強度が、特定エッジ強度として特定される(ステップS411)。そして、特定された特定エッジ強度に基づいて、エッジ抽出領域における最終的なエッジの強度が最終エッジ強度として算出される(ステップS412)。
そして、ステップS413では、閾値変更部37aにより、ステップS412で算出された最終エッジ強度に基づいて、左右一対の検出領域におけるエッジ閾値tの変更が行われる。具体的には、閾値変更部37aは、最終エッジ強度が低いほど、レンズが白濁していると判断し、検出領域A1,A2におけるエッジ閾値tを低い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を検出し易くなる。一方、閾値変更部37aは、最終エッジ強度が高いほど、レンズは白濁していないと判断し、検出領域A1,A2におけるエッジ閾値tを高い値に変更する。これにより、ノイズなどを抑制し易くなり、その結果、立体物の誤検出を有効に防止することができる。
また、ステップS402で夜間であると判定された場合には、ステップS414に進む。ステップS414〜ステップS421は、第1実施形態のステップS214〜ステップS221と同様の処理が行われる。すなわち、図11に示すように、左右の道路端を基準とする左側道路端基準領域および右側道路端基準領域が夜間エッジ抽出領域として設定され(ステップS414)、夜間エッジ抽出領域として設定された左右一対の道路端基準領域において、被写体のエッジの抽出が行われる(ステップS415)。そして、左右一対の道路端基準領域において抽出されたエッジに基づいて、図15に示すように、左右一対の道路端基準領域のそれぞれの領域に対応するヒストグラムの生成が行われ(ステップS416)、生成されたヒストグラムに基づいて、左右一対の道路端基準領域の各領域ごとに、エッジ強度偏差Sσが算出され(ステップS417)、このエッジ強度偏差Sσの重みの算出が行われる(ステップS418)。そして、図16に示すように、算出したエッジ強度偏差Sσの重みに基づいて、夜間エッジ抽出領域に設定された左側道路端基準領域および右側道路端基準領域におけるエッジの強度が対象エッジ強度として算出される(ステップS419)。
そして、夜間エッジ抽出領域に設定された左右一対の道路端基準領域のうち、左側道路端基準領域における対象エッジ強度が、左側検出領域A2における差分閾値thを設定するための特定エッジ強度として特定され、右側道路端基準領域における対象エッジ強度が、右側検出領域A1における差分閾値thを設定するための特定エッジ強度として特定される(ステップS420)。次いで、過去に算出された特定エッジ強度を加味して、右側検出領域A1における差分閾値thを設定するための最終エッジ強度と、左側検出領域A2における差分閾値thを設定するための最終エッジ強度とが算出される(ステップS421)。
ステップS422では、閾値変更部37aにより、ステップS421で算出された右側道路端基準領域における最終エッジ強度に基づいて、図17に示すように、右側検出領域A1におけるエッジ閾値thを算出することで、右側検出領域A1におけるエッジ閾値thが設定される。続くステップS423では、閾値変更部37aにより、ステップS421で算出された左側道路端基準領域における最終エッジ強度に基づいて、図17に示すように、左側検出領域A2におけるエッジ閾値tを算出することで、左側検出領域A2におけるエッジ閾値tが設定される。
以上のように、第2実施形態では、検出領域A1,A2において被写体のエッジを検出し、該エッジに基づいて隣接車両V2を検出する際に、昼間または夜間において所定量のエッジの抽出が期待される領域をエッジ抽出領域として設定し、エッジ抽出領域から抽出されたエッジの強度に基づいて、エッジ閾値tを設定する。これにより、第2実施形態では、第1実施形態の効果に加え、エッジに基づいて隣接車両V2を検出する場合においても、エッジ閾値tをレンズの白濁度合いに応じた適切な値に設定することができ、その結果、レンズが白濁している場合も、立体物を適切に検出することができる。
《第3実施形態》
続いて、第3実施形態に係る立体物検出装置1bについて説明する。第3実施形態に係る立体物検出装置1bは、図28に示すように、第1実施形態の計算機30に代えて、計算機30bを備えており、以下に説明するように動作すること以外は、第1実施形態と同様である。ここで、図28は、第3実施形態に係る計算機30bの詳細を示すブロック図である。
第3実施形態に係る計算機30bは、カメラ10のレンズが白濁している(レンズ表面に水垢などによる白色の薄膜が形成されている)場合でも立体物を適切に検出するために、レンズが白濁しているか否かを判定し、レンズの白濁度合いに応じてカメラ10の露出制御を行う。計算機30bは、このような機能を実現するために、第1実施形態に係る計算機30の閾値変更部37に代えて、露出制御部40を備える。以下に、計算機30bの各機能について説明する。なお、視点変換部31、位置合わせ部32、立体物検出部33、昼夜判定部34、および、エッジ抽出領域設定部35については、第1実施形態と同様の構成であるため、その説明は省略する。
第3実施形態に係るエッジ強度算出部36は、昼間と判定された場合には、昼間エッジ抽出領域のうち、地平線基準領域において検出された対象エッジ強度が所定値以上であるか否かを判定し、地平線基準領域において検出された対象エッジ強度が所定値以上である場合には、地平線基準領域において検出された対象エッジ強度を、露出制御に用いる特定エッジ強度として特定する。一方、エッジ強度算出部36は、地平線基準領域において検出された対象エッジ強度が所定値未満である場合には、地平線基準領域および左右一対の道路端基準領域において検出された対象エッジ強度のうち、最も高い対象エッジ強度を、露出制御に用いる特定エッジ強度として特定する。
また、エッジ強度算出部36は、夜間と判定された場合には、夜間エッジ抽出領域に設定された左右一対の道路端基準領域のうち、左側道路端基準領域における対象エッジ強度を、左側検出領域A2における露出を設定するための特定エッジ強度として特定し、右側道路端基準領域における対象エッジ強度を、右側検出領域A1における露出を設定するための特定エッジ強度として特定する。
上述したように、夜間において、自車両V1よりも右側に街灯などの光源が存在し、一方、自車両V1よりも左側に光源が存在しない場合などでは、左右の検出領域A1,A2において光環境が大きく異なり、このような自車両V1周囲の光環境により、立体物の検出し易さも大きく異なる。そのため、本実施形態では、左側道路端基準領域における対象エッジ強度を左側検出領域A2における露出を設定するための特定エッジ強度として特定し、右側道路端基準領域における対象エッジ強度を右側検出領域A1の露出を設定するための特定エッジ強度として特定することで、左右一対の検出領域A1,A2のそれぞれにおいて、光環境に応じた適切な露出を得ることができ、これにより、立体物を高い精度で検出することが可能となる。
露出制御部40は、エッジ強度算出部36により算出された最終エッジ強度に基づいて、カメラ10の露出制御を行う。具体的には、露出制御部40は、まず、エッジ強度算出部36により算出された最終エッジ強度に基づいて、カメラ10の露出を制御するための露出制御値を算出する。そして、露出制御部40は、算出した露出制御値に基づいて、カメラ10の絞り値、ISO感度、および露光時間(あるいはシャッタースピード)を設定することで、カメラ10の露出を、レンズの白濁度合いに応じた適切な露出に設定する。
ここで、露出制御値とは、カメラ10の露出を制御するための値であり、露出制御部40は、この露出制御値が高いほど、絞り値を小さくし(絞りを開放側に開き)、ISO感度を高くし、あるいは、露光時間を長くする。これにより、露出制御値が高いほど、被写体からの光束に対する撮像素子の露出量が大きくなり、立体物を鮮明に撮像することが可能となる。なお、露出制御部40は、露出制御値に基づいて、絞り値、ISO感度、および露光時間のいずれか1つを制御する構成としてもよいし、絞り値、ISO感度、および露光時間を組み合わせて制御する構成としてもよい。
また、露出制御部40は、図29に示すように、最終エッジ強度が低いほど、レンズが白濁していると判断し、露出制御値を高い値に変更する。これにより、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を適切に検出することができる。一方、露出制御部40は、最終エッジ強度が高いほど、レンズは白濁していないと判断し、露出制御値を低い値に変更する。これにより、ノイズを有効に抑制することができ、その結果、立体物の誤検出を有効に防止することができる。なお、図29は、露出制御値と最終エッジ強度との関係の一例を示す図である。
また、露出制御部40は、左右一対の検出領域A1,A2に対応する画素領域の露出を個々に制御することが可能となっている。たとえば、露出制御部40は、左右一対の検出領域A1,A2に対応する画素領域において、露光時間を互いに異ならせることで、左右一対の検出領域A1,A2に対応する画素領域の露出を個々に制御することができる。
さらに、周囲が真っ暗な場合には、被写体のエッジが検出し難く、最終エッジ強度が低く算出される傾向にあるため、レンズが白濁していると誤判定され、レンズが実際に白濁していない場合でも露出制御値が高い値で算出されてしまう場合があり、その結果、ノイズなどにより立体物の誤検出が生じてしまう場合がある。そのため、露出制御部40は、図17に示すように、周囲の輝度が超低輝度であり周囲が真っ暗であると判断できる場合には、周囲が真っ暗ではない場合と比較して、最終エッジ強度が比較的低い場合でも、露出制御値が比較的低い値で算出されるように、露出制御値と最終エッジ強度との関係を変化させる。これにより、周囲が真っ暗な場合に、立体物の誤検出が生じてしまうことを有効に防止することができる。なお、露出制御部40は、撮像画像全体の輝度が、周囲が真っ暗であると判定できる所定輝度以下である場合に、周囲が真っ暗であると判定することができる。
次に、図30を参照して、第3実施形態に係る露出制御処理について説明する。図30は、第3実施形態に係る露出制御処理を示すフローチャートである。なお、以下に説明する露出制御処理は、図18に示す隣接車両検出処理と並行して行われる。これにより、この露出制御処理により設定された露出でカメラ10の撮像が行われ、その結果、この露出制御処理で設定された露出で撮像された撮像画像データに基づいて、図18に示す隣接車両検出処理が行われることとなる。
ステップS501〜S512では、第1実施形態のステップS201〜S212と同様に、昼間であると判定された場合に(ステップS502=Yes)、消失点近傍の地平線を基準とする地平線基準領域と、道路端を基準とする左右一対の道路端基準領域とが、昼間エッジ抽出領域として設定され(ステップS503)、昼間エッジ抽出領域において、被写体のエッジの抽出が行われる(ステップS504)。そして、昼間エッジ抽出領域のエッジの強度が対象エッジ強度として算出され(ステップS508)、対象エッジ強度に基づいて、最終エッジ強度の算出が行われる(ステップS512)。
ステップS513では、露出制御部40により、ステップS512で算出された最終エッジ強度に基づいて、カメラ10の露出制御が行われる。具体的には、露出制御部40は、図29に示すように、最終エッジ強度が低いほど、レンズが白濁していると判定し、露出制御値を高い値で算出し、一方、最終エッジ強度が高いほど、レンズが白濁していないと判定し、露出制御値を低い値で算出する。そして、露出制御部40は、算出した露出制御値が高いほど、絞り値を小さくし(絞りを開放側に開き)、ISO感度を高くし、あるいは、露光時間を長くすることで、被写体からの光束に対するカメラ10(撮像素子)の露出量を大きくする。これにより、カメラ10に立体物を鮮明に撮像させることが可能となり、その結果、レンズが白濁している場合でも、図18に示す隣接車両検出処理において立体物を適切に検出することできる。一方、露出制御部40は、算出した露出制御値が低いほど、絞り値を大きくし(絞りを絞り込み側に絞り)、ISO感度を低くし、あるいは、露光時間を短くすることで、被写体からの光束に対するカメラ10(撮像素子)の露出量を小さくする。これにより、ノイズの発生が抑制され、その結果、立体物の誤検出を有効に防止することができる。
また、本実施形態において、露出制御部40は、このステップS513のように、昼間であると判定されている場合には、左右一対の検出領域A1,A2において同じ露出が得られるように、カメラ10の露出制御を行う。ここで、昼間においては、自車両V1の周囲における光環境の変化が小さいため、地平線基準領域および左右一対の道路端基準領域のいずれのエッジに基づいて露出制御値を算出した場合でも、算出した露出制御値に基づいて、左右一対の検出領域A1,A2における露出を設定することができる。そのため、昼間においては、地平線基準領域および左右一対の道路端基準領域において抽出されたエッジのうち、レンズの白濁度合いに最も対応するエッジに基づいて露出制御値を算出し、該露出制御値に基づいて、右側検出領域A1および左側検出領域A2の両方の露出を設定することができ、これにより、右側検出領域A1および左側検出領域A2において、立体物を適切に検出することができる。
一方、ステップS502において、夜間であると判定された場合には、ステップS514に進む。ステップS514〜S521では、第1実施形態のステップS214〜S221と同様に、左右の道路端を基準とする左側道路端基準領域および右側道路端基準領域が、夜間エッジ抽出領域として設定され(ステップS514)、夜間エッジ抽出領域において、被写体のエッジの抽出が行われる(ステップS515)。そして、夜間エッジ抽出領域のエッジの強度が対象エッジ強度として算出され(ステップS519)、対象エッジ強度に基づいて、最終エッジ強度の算出が行われる(ステップS521)。
そして、ステップS522では、露出制御部40により、左右一対の検出領域A1,A2のうち右側検出領域A1における露出の設定が行われ、ステップS523では、露出制御部40により、左右一対の検出領域A1,A2のうち左側検出領域A2における露出の設定が行われる。具体的には、露出制御部40は、図29に示すように、ステップS221で算出された最終エッジ強度が低いほど、レンズが白濁していると判断して、露出制御値を高い値に変更する。このように露出制御値を高くすることで、カメラ10の絞り値が小さくなり(カメラ10の絞りを開放側に開き)、ISO感度が高くなり、あるいは、露光時間が長くなるため、レンズが白濁している場合でも、立体物を検出し易くなり、その結果、隣接車両V2を適切に検出することができる。一方、露出制御部40は、最終エッジ強度が高いほど、レンズは白濁していないと判断し、露出制御値を低い値に変更する。これにより、ノイズの発生が抑制され、その結果、立体物の誤検出を有効に防止することができる。
また、夜間であると判定されている場合、露出制御部40は、ステップS521で算出された右側道路端基準領域における最終エッジ強度に基づいて、図29に示すように、右側検出領域A1における露出制御値を算出することで、右側検出領域A1における露出を設定する。同様に、ステップS523において、露出制御部40は、ステップS521で算出された左側道路端基準領域における最終エッジ強度に基づいて、図29に示すように、左側検出領域A2における露出制御値を算出することで、左側検出領域A2における露出を設定する。このように、露出制御部40は、夜間であると判定されている場合には、左側検出領域A1における露出と、右側検出領域A2における露出とを別々に設定する。これにより、夜間において、自車両V1の右側と左側とにおいて光環境が異なる場合でも、立体物を適切に検出することができる。
また、露出制御部40は、図29において破線で示すように、周囲が真っ暗な場合には、周囲が真っ暗ではない場合と比較して、最終エッジ強度が比較的低い場合でも、露出制御値が比較的低い値で算出されるように、露出制御値と対象エッジ強度との関係を変化させる。これにより、周囲が真っ暗であり被写体のエッジを検出し難い場合に、レンズが白濁していると誤判定され、立体物の誤検出が生じてしまうことを有効に防止することができる。
以上のように、第3実施形態では、昼間または夜間において、所定量のエッジの抽出が期待される領域をエッジ抽出領域として設定し、エッジ抽出領域におけるエッジの強度に基づいて、カメラ10の露出制御を行う。具体的には、図29に示すように、エッジ抽出領域におけるエッジの強度(最終エッジ強度)が低いほど、レンズが白濁していると判定し、露出制御値を高くすることで、被写体からの光束に対するカメラ10(撮像素子)の露出量を大きくする。これにより、立体物が検出し易くなり、レンズが白濁している場合でも、立体物を適切に検出することができる。また、エッジ抽出領域におけるエッジの強度が高いほど、レンズが白濁していると判定し、露出制御値を小さくすることで、被写体からの光束に対するカメラ10(撮像素子)の露出量を小さくする。これにより、レンズが白濁していない場合に、ノイズなどによる立体物の誤検出を有効に防止することができる。
また、第3実施形態では、昼間と判定された場合には、左右一対の検出領域A1,A2において同じ露出が得られるように、カメラ10の露出制御が行われ、夜間と判定された場合には、左右一対の検出領域A1,A2のそれぞれの光環境に応じた露出が得られるように、左右一対の検出領域A1,A2における露出制御が別々に行われる。そのため、第1実施形態では、昼間と判定された場合の左右一対の検出領域A1,A2間における露出の差は、夜間と判定された場合の左右一対の検出領域A1,A2間における露出の差以下となる。昼間と判定された場合には、右側検出領域A1と左側検出領域A2との光環境の違いは小さいと判断されるため、右側検出領域A1および左側検出領域A2の両方において最終エッジに基づく適切な露出を設定することができ、これにより、右側検出領域A1および左側検出領域A2において、立体物を適切に検出することができる。また、夜間と判定された場合には、光源の影響などにより右側検出領域A1と左側検出領域A2との光環境の違いが大きくなる場合があるものと判断されるため、左右一対の検出領域A1,A2のそれぞれの光環境に応じた露出が得られるように、左右一対の検出領域A1,A2における露出制御を別々に行うことで、周囲の光環境に応じて適切に立体物を検出することができる。
さらに、第3実施形態では、隣接車両V2が検知されているか否かを判断し、隣接車両V2が検知されている場合には、エッジ抽出領域で算出されたエッジの強度に拘わらず、カメラ10(撮像素子)の露出を維持する(すなわち、エッジ強度に基づくカメラ10の露出の変更を禁止する。)。これにより、地平線や道路端などを基準とするエッジ抽出領域においてエッジの強度を算出することで、レンズの白濁度合いを判定する際に、隣接車両V2に起因するエッジの影響を低減することができ、その結果、レンズの白濁度合いに応じたエッジの強度を適切に検出することができる。
《第4実施形態》
続いて、第4実施形態に係る立体物検出装置1cについて説明する。第4実施形態に係る立体物検出装置1cは、図31に示すように、第2実施形態の計算機30aに代えて、計算機30cを備えており、以下に説明するように動作すること以外は、第2実施形態と同様である。ここで、図31は、第4実施形態に係る計算機30cの詳細を示すブロック図である。
第4実施形態に係る計算機30cは、第2実施形態に係る計算機30aの閾値変更部37に代えて、露出制御部40aを備える。なお、視点変換部31、輝度差算出部38、エッジ線検出部39、立体物検出部33a、昼夜判定部34、エッジ抽出領域設定部35、エッジ強度算出部36については、第2実施形態と同様の構成であり、露出制御部40aは、第3実施形態と同様の構成であるため、その説明は省略する。
第4実施形態では、第2実施形態と同様に、図26に示す隣接車両検出処理が実行される。そして、図26に示す隣接車両検出処理に並行して、第3実施形態と同様に、図30に示す露出制御処理が実行され、この露出制御処理により設定された露出で撮像画像データが撮像され、撮像された撮像画像データに基づいて、隣接車両検出処理が行われることとなる。そのため、第4実施形態においても、レンズの白濁度合いに応じた適切な露出で立体物を撮像することができ、その結果、レンズが白濁している場合でも、撮像画像に基づいて立体物を適切に検出することが可能となる。なお、第4実施形態に係る隣接車両検出処理および露出制御処理は、第2実施形態に係る隣接車両検出処理、および、第3実施形態に係る露出制御処理と同様の処理であるため、その説明は省略する。
以上のように、第4実施形態では、検出領域A1,A2において被写体のエッジを検出し、該エッジに基づいて隣接車両V2を検出する際に、昼間または夜間において所定量のエッジの抽出が期待される領域をエッジ抽出領域として設定し、エッジ抽出領域から抽出されたエッジの強度に基づいて、カメラ10の露出制御を行う。これにより、第4実施形態では、第3実施形態の効果に加え、エッジに基づいて隣接車両V2を検出する場合においても、カメラ10の露出をレンズの白濁度合いに応じた適切な露出に設定することができ、その結果、レンズが白濁している場合も、立体物を適切に検出することができる。
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した第1,2実施形態においては、昼間エッジ抽出領域または夜間エッジ抽出領域におけるエッジの強度(最終エッジ強度)に基づいて、差分閾値thまたはエッジ閾値tを変更する構成を例示したが、この構成に限定されず、たとえば、差分閾値th、エッジ閾値tに代えて、あるいは、差分閾値th、エッジ閾値tに加えて、立体物を検出するための閾値α、閾値βの値を変更する構成としてもよい。あるいは、昼間エッジ抽出領域または夜間エッジ抽出領域におけるエッジの強度(最終エッジ強度)に基づいて、エッジ線を検出するための閾値θ、閾値t2を変更する構成としてもよいし、閾値tbを変更する構成としてもよい。また、昼間エッジ抽出領域または夜間エッジ抽出領域におけるエッジの強度(最終エッジ強度)に基づいて、各画素から出力される画素値または輝度値を変更する構成としてもよい。たとえば、最終エッジ強度が低いほど、レンズが白濁していると判断し、各画素から出力される画素値または輝度値を高くすることで、立体物の検出を促進することができる。
さらに、上述した実施形態では、立体物の移動速度が所定の条件を満たす場合に、該立体物を隣接車両V2として検出する構成を例示したが、たとえば、昼間エッジ抽出領域または夜間エッジ抽出領域におけるエッジの強度(最終エッジ強度)に基づいて、上記の条件を変更することで、隣接車両V2の検出を制御する構成としてもよい。たとえば、上述した実施形態では、立体物の絶対移動速度が10km/h以上、かつ、自車両V1に対する立体物の相対移動速度が+60km/h以下である場合に、立体物を隣接車両V2と判断しているが、最終エッジ強度が低い場合には、レンズが白濁していると判断し、たとえば、立体物の絶対移動速度が5km/h以上、かつ、自車両V1に対する立体物の相対移動速度が+65km/h以下である場合に、立体物は隣接車両V2であると判断する構成とすることで、隣接車両V2の検出を促進することができる。
また、上述した実施形態に加えて、立体物の検出するためのパラメータの一つとしてレンズの白濁度合いを示す白濁指数を備えており、該白濁指数に基づいて立体物を検出する際の種々の制御を行っている場合には、昼間エッジ抽出領域または夜間エッジ抽出領域における最終エッジ強度に基づいて、この白濁指数を算出する構成としてもよい。なお、レンズの白濁は比較的長い時間をかけて進行するため、昼間エッジ抽出領域または夜間エッジ抽出領域における最終エッジ強度に基づいて白濁指数を算出する場合には、比較的長い時間で得られた複数の特定エッジ強度から、その平均値と標準偏差とを算出し、算出した特定エッジ強度の平均値と標準偏差とを加算した値を、白濁指数を算出するための最終エッジ強度として用いることが好適である。
さらに、上述した実施形態では、隣接車両V2を検知している場合に、対象エッジ強度を算出する構成を例示したが、この構成に限定されず、たとえば、隣接車両V2が検知されている場合と、隣接車両V2が検知されていない場合とで、算出される対象エッジ強度の値を変更する構成としてもよい。具体的には、隣接車両V2が検知されている場合には、隣接車両V2が検知されていない場合と比較して、対象エッジ強度を低い値で算出する構成としてもよい。これにより、地平線や道路端などに基づいてエッジの強度を算出する際に、隣接車両V2に起因するエッジの影響を低減することができ、レンズの白濁度合いに応じた対象エッジ強度を適切に検出することができる。
なお、上述した実施形態のカメラ10は本発明の撮像手段に相当し、視点変換部31は本発明の画像変換手段に相当し、位置合わせ部32、立体物検出部33,33a、輝度差算出部38、およびエッジ線検出部39は本発明の立体物検出手段に相当し、エッジ抽出領域設定部35およびエッジ強度算出部36は本発明の第1エッジ強度算出手段および第2エッジ強度算出手段に相当し、昼夜判定部34は本発明の昼夜判定手段に相当し、閾値変更部37,37aおよび露出制御部40,40aは本発明の制御手段に相当する。