JP5874831B2 - 立体物検出装置 - Google Patents

立体物検出装置 Download PDF

Info

Publication number
JP5874831B2
JP5874831B2 JP2014526962A JP2014526962A JP5874831B2 JP 5874831 B2 JP5874831 B2 JP 5874831B2 JP 2014526962 A JP2014526962 A JP 2014526962A JP 2014526962 A JP2014526962 A JP 2014526962A JP 5874831 B2 JP5874831 B2 JP 5874831B2
Authority
JP
Japan
Prior art keywords
dimensional object
detection
area
image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014526962A
Other languages
English (en)
Other versions
JPWO2014017521A1 (ja
Inventor
早川 泰久
泰久 早川
修 深田
修 深田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014526962A priority Critical patent/JP5874831B2/ja
Application granted granted Critical
Publication of JP5874831B2 publication Critical patent/JP5874831B2/ja
Publication of JPWO2014017521A1 publication Critical patent/JPWO2014017521A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、立体物検出装置に関するものである。
本出願は、2012年7月27日に出願された日本国特許出願の特願2012―166516に基づく優先権を主張するものであり、文献の参照による組み込みが認められる指定国については、上記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
車両周囲を撮像した画像を俯瞰変換し、時間的に異なる二つの俯瞰変換画像の差分を用いて障害物を検出する障害物検出装置が知られている(特許文献1参照)。
特開2008−227646号公報
車両後方を撮像した画像を用いて自車両の走行車線の隣の隣接車線を走行する他車両を障害物として検出する際に、太陽などの強い光に照らされる明るい環境の領域と自車両又は他車両などの物体の影になる暗い環境の領域とについて、同じ条件で立体物の検出処理を実行すると、明るい環境又は暗い環境の一方においては立体物の検出精度を向上させることができるが、他方の環境においては立体物の検出精度が低下するという問題がある。
すなわち、検出領域に差し込んだ太陽光が路面に反射する明るい環境においては、太陽光などの強い光が路面に反射して形成される反射像(虚像)の輝度が立体物を検出するための輝度の閾値を超えて立体物として誤検出される場合がある。その一方で、差し込む太陽光などの光が他車両などに遮られて暗い環境においては、撮像画像の輝度が低くなり、実在する他車両の像(実像)の輝度が立体物を検出するための輝度の閾値を超えられずに立体物ではないと誤検出される場合がある。
本発明が解決しようとする課題は、明るい環境の検出領域と暗い環境の検出領域が形成される状況において、明るい環境の検出領域に形成される太陽光などの強い光による反射像(虚像)が自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)として誤検出することを防止し、隣接車線を走行する他車両を高い精度で検出する立体物検出装置を提供することである。
本発明は、右側検出領域又は左側検出領域のうち、高輝度領域を含む第1検出領域の画像情報に基づいて立体物が他車両であると判断されることを抑制し、第1検出領域以外の第2検出領域の画像情報に基づいて立体物が他車両であると判断されること維持又は促進することにより、上記課題を解決する。
本発明によれば、右側検出領域と左側検出領域において明るさの環境が異なる場合において、明るい環境の第1検出領域については太陽光の反射像(虚像)を自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)として誤検出することを防止しつつ、相対的に暗い環境の第2検出領域については隣接車線に実在する他車両の像(実像)を他車両ではないと誤検出することを防止することができる。この結果、自車両の走行車線の隣の隣接車線を走行する他車両を、高い精度で検出する立体物検出装置を提供することができる。
本発明の立体物検出装置を適用した一実施の形態に係る車両の概略構成図である。 図1の車両の走行状態を示す平面図である。 図1の計算機の詳細を示すブロック図である。 図3の位置合わせ部の処理の概要を説明するための図であり、(a)は車両の移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。 図3の立体物検出部による差分波形の生成の様子を示す概略図である。 図3の立体物検出部によって分割される小領域を示す図である。 図3の立体物検出部により得られるヒストグラムの一例を示す図である。 図3の立体物検出部による重み付けを示す図である。 図3のスミア検出部による処理及びそれによる差分波形の算出処理を示す図である。 図3の立体物検出部により得られるヒストグラムの他の例を示す図である。 図3の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート(その1)である。 図3の視点変換部、位置合わせ部、スミア検出部及び立体物検出部により実行される差分波形情報を用いた立体物検出方法を示すフローチャート(その2)である。 図1の車両の走行状態を示す図(エッジ情報による立体物検出)であり、(a)は検出領域等の位置関係を示す平面図、(b)は実空間における検出領域等の位置関係を示す斜視図である。 図3の輝度差算出部の動作を説明するための図であり、(a)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図、(b)は実空間における注目線、参照線、注目点及び参照点の位置関係を示す図である。 図3の輝度差算出部の詳細な動作を説明するための図であり、(a)は鳥瞰視画像における検出領域を示す図、(b)は鳥瞰視画像における注目線、参照線、注目点及び参照点の位置関係を示す図である。 エッジ線とエッジ線上の輝度分布を示す図であり、(a)は検出領域に立体物(車両)が存在している場合の輝度分布を示す図、(b)は検出領域に立体物が存在しない場合の輝度分布を示す図である。 図3の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート(その1)である。 図3の視点変換部、輝度差算出部、エッジ線検出部及び立体物検出部により実行されるエッジ情報を用いた立体物検出方法を示すフローチャート(その2)である。 エッジ検出動作を説明するための画像例を示す図である。 検出領域に太陽光が差し込んだ場合に形成される高輝度領域を説明するための図である。 検出領域に太陽光が差し込み、検出領域に他車両が存在する場合に形成される高輝度領域と低輝度領域を説明するための図である。 本実施形態の立体物検出装置の制御手順を示すフローチャートである。 高輝度領域と閾値との関係の一例を示す図である。
図1は、本発明の立体物検出装置1を適用した一実施の形態に係る車両の概略構成図であり、本例の立体物検出装置1は、自車両Vの運転者が運転中に注意を払うべき他車両、例えば、自車両Vが車線変更する際に接触の可能性がある他車両を障害物として検出する装置である。特に、本例の立体物検出装置1は自車両が走行する車線の隣の隣接車線(以下、単に隣接車線ともいう)を走行する他車両を検出する。また、本例の立体物検出装置1は、検出した他車両の移動距離、移動速度を算出することができる。このため、以下説明する一例は、立体物検出装置1を自車両Vに搭載し、自車両周囲において検出される立体物のうち、自車両Vが走行する車線の隣の隣接車線を走行する他車両を検出する例を示すこととする。同図に示すように、本例の立体物検出装置1は、カメラ10と、車速センサ20と、計算機30と、位置検出装置50とを備える。
カメラ10は、図1に示すように自車両Vの後方における高さhの箇所において、光軸が水平から下向きに角度θとなるように自車両Vに取り付けられている。カメラ10は、この位置から自車両Vの周囲環境のうちの所定領域を撮像する。本実施形態において自車両Vの後方の立体物を検出するために設けられるカメラ1は一つであるが、他の用途のため、例えば車両周囲の画像を取得するための他のカメラを設けることもできる。車速センサ20は、自車両Vの走行速度を検出するものであって、例えば車輪に回転数を検知する車輪速センサで検出した車輪速から車速度を算出する。計算機30は、車両後方の立体物を検出するとともに、本例ではその立体物について移動距離及び移動速度を算出する。位置検出装置50は、自車両Vの走行位置を検出する。
図2は、図1の自車両Vの走行状態を示す平面図である。同図に示すように、カメラ10は、所定の画角aで車両後方側を撮像する。このとき、カメラ10の画角aは、自車両Vが走行する車線に加えて、その左右の車線についても撮像可能な画角に設定されている。撮像可能な領域には、自車両Vの後方であり、自車両Vの走行車線の左右隣の隣接車線上の検出対象領域A1,A2を含む。なお、本実施形態における車両後方には、車両の真後ろだけではなく、車両の後ろ側の側方をも含む。撮像される車両後方の領域は、カメラ10の画角に応じて設定される。一例ではあるが、車長方向に沿う車両の真後ろをゼロ度とした場合に、真後ろ方向から左右0度〜90度、好ましくは0度〜70度等の領域を含むように設定できる。
図3は、図1の計算機30の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10、車速センサ20及び位置検出装置50についても図示する。
図3に示すように、計算機30は、視点変換部31と、位置合わせ部32と、立体物検出部33と、立体物判断部34と、高輝度領域判断部38と、制御部39と、スミア検出部40とを備える。本実施形態の計算部30は、差分波形情報を利用した立体物の検出ブロックに関する構成である。本実施形態の計算部30は、エッジ情報を利用した立体物の検出ブロックに関する構成とすることもできる。この場合は、図3に示す構成のうち、位置合わせ部32と、立体物検出部33から構成されるブロック構成Aを、破線で囲んだ輝度差算出部35と、エッジ線検出部36と、立体物検出部37から構成されるブロック構成Bと置き換えて構成することができる。もちろん、ブロック構成A及びブロック構成Bの両方を備え、差分波形情報を利用した立体物の検出を行うとともに、エッジ情報を利用した立体物の検出も行うことができるようにすることもできる。ブロック構成A及びブロック構成Bを備える場合には、例えば明るさなどの環境要因に応じてブロック構成A又はブロック構成Bの何れかを動作させることができる。以下、各構成について説明する。
《差分波形情報による立体物の検出》
本実施形態の立体物検出装置1は、車両後方を撮像する単眼のカメラ1により得られた画像情報に基づいて車両後方の右側検出領域又は左側検出領域に存在する立体物を検出する。
視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力し、入力した撮像画像データを鳥瞰視される状態の鳥瞰画像データに視点変換する。鳥瞰視される状態とは、上空から例えば鉛直下向きに見下ろす仮想カメラの視点から見た状態である。この視点変換は、例えば特開2008−219063号公報に記載されるようにして実行することができる。撮像画像データを鳥瞰視画像データに視点変換するのは、立体物に特有の鉛直エッジは鳥瞰視画像データへの視点変換により特定の定点を通る直線群に変換されるという原理に基づき、これを利用すれば平面物と立体物とを識別できるからである。なお、視点変換部31による画像変換処理の結果は、後述するエッジ情報による立体物の検出においても利用される。
位置合わせ部32は、視点変換部31の視点変換により得られた鳥瞰画像データを順次入力し、入力した異なる時刻の鳥瞰画像データの位置を合わせる。図4は、位置合わせ部32の処理の概要を説明するための図であり、(a)は自車両Vの移動状態を示す平面図、(b)は位置合わせの概要を示す画像である。
図4(a)に示すように、現時刻の自車両VがV1に位置し、一時刻前の自車両VがV2に位置していたとする。また、自車両Vの後側方向に他車両VXが位置して自車両Vと並走状態にあり、現時刻の他車両VXがV3に位置し、一時刻前の他車両VXがV4に位置していたとする。さらに、自車両Vは、一時刻で距離d移動したものとする。なお、一時刻前とは、現時刻から予め定められた時間(例えば1制御周期)だけ過去の時刻であってもよいし、任意の時間だけ過去の時刻であってもよい。
このような状態において、現時刻における鳥瞰画像PBは図4(b)に示すようになる。この鳥瞰画像PBでは、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V3にある他車両VXの位置については倒れ込みが発生する。また、一時刻前における鳥瞰画像PBt−1についても同様に、路面上に描かれる白線については矩形状となり、比較的正確に平面視された状態となるが、位置V4にある他車両VXについては倒れ込みが発生する。既述したとおり、立体物の鉛直エッジ(厳密な意味の鉛直エッジ以外にも路面から三次元空間に立ち上がったエッジを含む)は、鳥瞰視画像データへの視点変換処理によって倒れ込み方向に沿った直線群として現れるのに対し、路面上の平面画像は鉛直エッジを含まないので、視点変換してもそのような倒れ込みが生じないからである。
位置合わせ部32は、上記のような鳥瞰画像PB,PBt−1の位置合わせをデータ上で実行する。この際、位置合わせ部32は、一時刻前における鳥瞰画像PBt−1をオフセットさせ、現時刻における鳥瞰画像PBと位置を一致させる。図4(b)の左側の画像と中央の画像は、移動距離d’だけオフセットした状態を示す。このオフセット量d’は、図4(a)に示した自車両Vの実際の移動距離dに対応する鳥瞰視画像データ上の移動量であり、車速センサ20からの信号と一時刻前から現時刻までの時間に基づいて決定される。
また、位置合わせ後において位置合わせ部32は、鳥瞰画像PB,PBt−1の差分をとり、差分画像PDのデータを生成する。ここで、差分画像PDの画素値は、鳥瞰画像PB,PBt−1の画素値の差を絶対値化したものでもよいし、照度環境の変化に対応するために当該絶対値が所定の閾値pを超えたときに「1」とし、超えないときに「0」としてもよい。図4(b)の右側の画像が、差分画像PDである。この閾値pは、予め設定しておくことができる。
図3に戻り、立体物検出部33は、図4(b)に示す差分画像PDのデータに基づいて立体物を検出する。この際、本例の立体物検出部33は、実空間上における立体物の移動距離についても算出する。立体物の検出及び移動距離の算出にあたり、立体物検出部33は、まず差分波形を生成する。なお、立体物の時間あたりの移動距離は、立体物の移動速度の算出に用いられる。そして、立体物の移動速度は、立体物が車両であるか否かの判断に用いることができる。
差分波形の生成にあたって本実施形態の立体物検出部33は、差分画像PDにおいて検出領域を設定する。本例の立体物検出装置1は、自車両Vの運転手が注意を払う他車両であり、特に、自車両Vが車線変更する際に接触の可能性がある自車両Vが走行する車線の隣の車線を走行する他車両を検出対象物として検出する。このため、画像情報に基づいて立体物を検出する本例では、カメラ1により得られた画像のうち、自車両Vの右側及び左側に二つの検出領域を設定する。具体的に、本実施形態では、図2に示すように自車両Vの後方の左側及び右側に矩形状の検出領域A1,A2を設定する。この検出領域A1,A2において検出された他車両は、自車両Vが走行する車線の隣の隣接車線を走行する障害物として検出される。なお、このような検出領域A1,A2は、自車両Vに対する相対位置から設定してもよいし、白線の位置を基準に設定してもよい。白線の位置を基準に設定する場合に、移動距離検出装置1は、例えば既存の白線認識技術等を利用するとよい。
また、立体物検出部33は、設定した検出領域A1,A2の自車両V側における辺(走行方向に沿う辺)を接地線L1,L2(図2)として認識する。一般に接地線は立体物が地面に接触する線を意味するが、本実施形態では地面に接触する線でなく上記の如くに設定される。なおこの場合であっても、経験上、本実施形態に係る接地線と、本来の他車両VXの位置から求められる接地線との差は大きくなり過ぎず、実用上は問題が無い。
図5は、図3に示す立体物検出部33による差分波形の生成の様子を示す概略図である。図5に示すように、立体物検出部33は、位置合わせ部32で算出した差分画像PD(図4(b)の右図)のうち検出領域A1,A2に相当する部分から、差分波形DWを生成する。この際、立体物検出部33は、視点変換により立体物が倒れ込む方向に沿って、差分波形DWを生成する。なお、図5に示す例では、便宜上検出領域A1のみを用いて説明するが、検出領域A2についても同様の手順で差分波形DWを生成する。
具体的に説明すると、立体物検出部33は、差分画像DWのデータ上において立体物が倒れ込む方向上の線Laを定義する。そして、立体物検出部33は、線La上において所定の差分を示す差分画素DPの数をカウントする。ここで、所定の差分を示す差分画素DPは、差分画像DWの画素値が鳥瞰画像PB,PBt−1の画素値の差を絶対値化したものである場合は、所定の閾値を超える画素であり、差分画像DWの画素値が「0」「1」で表現されている場合は、「1」を示す画素である。
立体物検出部33は、差分画素DPの数をカウントした後、線Laと接地線L1との交点CPを求める。そして、立体物検出部33は、交点CPとカウント数とを対応付け、交点CPの位置に基づいて横軸位置、すなわち図5右図の上下方向軸における位置を決定するとともに、カウント数から縦軸位置、すなわち図5右図の左右方向軸における位置を決定し、交点CPにおけるカウント数としてプロットする。
以下同様に、立体物検出部33は、立体物が倒れ込む方向上の線Lb,Lc…を定義して、差分画素DPの数をカウントし、各交点CPの位置に基づいて横軸位置を決定し、カウント数(差分画素DPの数)から縦軸位置を決定しプロットする。立体物検出部33は、上記を順次繰り返して度数分布化することで、図5右図に示すように差分波形DWを生成する。
なお、図5左図に示すように、立体物が倒れ込む方向上の線Laと線Lbとは検出領域A1と重複する距離が異なっている。このため、検出領域A1が差分画素DPで満たされているとすると、線Lb上よりも線La上の方が差分画素DPの数が多くなる。このため、立体物検出部33は、差分画素DPのカウント数から縦軸位置を決定する場合に、立体物が倒れ込む方向上の線La,Lbと検出領域A1とが重複する距離に基づいて正規化する。具体例を挙げると、図5左図において線La上の差分画素DPは6つあり、線Lb上の差分画素DPは5つである。このため、図5においてカウント数から縦軸位置を決定するにあたり、立体物検出部33は、カウント数を重複距離で除算するなどして正規化する。これにより、差分波形DWに示すように、立体物が倒れ込む方向上の線La,Lbに対応する差分波形DWの値はほぼ同じとなっている。
差分波形DWの生成後、立体物検出部33は一時刻前の差分波形DWt−1との対比により移動距離を算出する。すなわち、立体物検出部33は、差分波形DW,DWt− の時間変化から移動距離を算出する。
詳細に説明すると、立体物検出部33は、図6に示すように差分波形DWを複数の小領域DWt1〜DWtn(nは2以上の任意の整数)に分割する。図6は、立体物検出部33によって分割される小領域DWt1〜DWtnを示す図である。小領域DWt1〜DWtnは、例えば図6に示すように、互いに重複するようにして分割される。例えば小領域DWt1と小領域DWt2とは重複し、小領域DWt2と小領域DWt3とは重複する。
次いで、立体物検出部33は、小領域DWt1〜DWtn毎にオフセット量(差分波形の横軸方向(図6の上下方向)の移動量)を求める。ここで、オフセット量は、一時刻前における差分波形DWt−1と現時刻における差分波形DWとの差(横軸方向の距離)から求められる。この際、立体物検出部33は、小領域DWt1〜DWtn毎に、一時刻前における差分波形DWt−1を横軸方向に移動させた際に、現時刻における差分波形DWとの誤差が最小となる位置(横軸方向の位置)を判定し、差分波形DWt−1の元の位置と誤差が最小となる位置との横軸方向の移動量をオフセット量として求める。そして、立体物検出部33は、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化する。
図7は、立体物検出部33により得られるヒストグラムの一例を示す図である。図7に示すように、各小領域DWt1〜DWtnと一時刻前における差分波形DWt−1との誤差が最小となる移動量であるオフセット量には、多少のバラつきが生じる。このため、立体物検出部33は、バラつきを含んだオフセット量をヒストグラム化し、ヒストグラムから移動距離を算出する。この際、立体物検出部33は、ヒストグラムの極大値から立体物の移動距離を算出する。すなわち、図7に示す例において立体物検出部33は、ヒストグラムの極大値を示すオフセット量を移動距離τと算出する。なおこの移動距離τは、自車両Vに対する他車両VXの相対移動距離である。このため、立体物検出部33は、絶対移動距離を算出する場合には、得られた移動距離τと車速センサ20からの信号とに基づいて、絶対移動距離を算出することとなる。
なお、ヒストグラム化にあたり立体物検出部33は、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化してもよい。図8は、立体物検出部33による重み付けを示す図である。
図8に示すように、小領域DW(mは1以上n−1以下の整数)は平坦となっている。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が小さくなっている。立体物検出部33は、このような小領域DWについて重みを小さくする。平坦な小領域DWについては、特徴がなくオフセット量の算出にあたり誤差が大きくなる可能性が高いからである。
一方、小領域DWm+k(kはn−m以下の整数)は起伏に富んでいる。すなわち、小領域DWは所定の差分を示す画素数のカウントの最大値と最小値との差が大きくなっている。立体物検出部33は、このような小領域DWについて重みを大きくする。起伏に富む小領域DWm+kについては、特徴的でありオフセット量の算出を正確に行える可能性が高いからである。このように重み付けすることにより、移動距離の算出精度を向上することができる。
なお、移動距離の算出精度を向上するために上記実施形態では差分波形DWを複数の小領域DWt1〜DWtnに分割したが、移動距離の算出精度がさほど要求されない場合は小領域DWt1〜DWtnに分割しなくてもよい。この場合に、立体物検出部33は、差分波形DWと差分波形DWt−1との誤差が最小となるときの差分波形DWのオフセット量から移動距離を算出することとなる。すなわち、一時刻前における差分波形DW t−1と現時刻における差分波形DWとのオフセット量を求める方法は上記内容に限定されない。
図3に戻り、計算機30はスミア検出部40を備える。スミア検出部40は、カメラ10による撮像によって得られた撮像画像のデータからスミアの発生領域を検出する。なお、スミアはCCDイメージセンサ等に生じる白飛び現象であることから、こうしたスミアが生じないCMOSイメージセンサ等を用いたカメラ10を採用する場合にはスミア検出部40を省略してもよい。
図9は、スミア検出部40による処理及びそれによる差分波形DWの算出処理を説明するための画像図である。まずスミア検出部40にスミアSが存在する撮像画像Pのデータが入力されたとする。このとき、スミア検出部40は、撮像画像PからスミアSを検出する。スミアSの検出方法は様々であるが、例えば一般的なCCD(Charge-Coupled Device)カメラの場合、光源から画像下方向にだけスミアSが発生する。このため、本実施形態では画像下側から画像上方に向かって所定値以上の輝度値を持ち、且つ、縦方向に連続した領域を検索し、これをスミアSの発生領域と特定する。
また、スミア検出部40は、スミアSの発生箇所について画素値を「1」とし、それ以外の箇所を「0」とするスミア画像SPのデータを生成する。生成後、スミア検出部40はスミア画像SPのデータを視点変換部31に送信する。また、スミア画像SPのデータを入力した視点変換部31は、このデータを鳥瞰視される状態に視点変換する。これにより、視点変換部31はスミア鳥瞰画像SBのデータを生成する。生成後、視点変換部31はスミア鳥瞰画像SBのデータを位置合わせ部33に送信する。また、視点変換部31は一時刻前のスミア鳥瞰画像SBt−1のデータを位置合わせ部33に送信する。
位置合わせ部32は、スミア鳥瞰画像SB,SBt−1の位置合わせをデータ上で実行する。具体的な位置合わせについては、鳥瞰画像PB,PBt−1の位置合わせをデータ上で実行する場合と同様である。また、位置合わせ後、位置合わせ部32は、各スミア鳥瞰画像SB,SBt−1のスミアSの発生領域について論理和をとる。これにより、位置合わせ部32は、マスク画像MPのデータを生成する。生成後、位置合わせ部32は、マスク画像MPのデータを立体物検出部33に送信する。
立体物検出部33は、マスク画像MPのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。すなわち、図9に示すような差分波形DWが生成されていた場合に、立体物検出部33は、スミアSによるカウント数SCをゼロとし、補正された差分波形DW’を生成することとなる。
なお、本実施形態において立体物検出部33は、車両V(カメラ10)の移動速度を求め、求めた移動速度から静止物についてのオフセット量を求める。静止物のオフセット量を求めた後、立体物検出部33は、ヒストグラムの極大値のうち静止物に該当するオフセット量を無視したうえで、立体物の移動距離を算出する。
図10は、立体物検出部33により得られるヒストグラムの他例を示す図である。カメラ10の画角内に他車両VXの他に静止物が存在する場合に、得られるヒストグラムには2つの極大値τ1,τ2が現れる。この場合、2つの極大値τ1,τ2のうち、何れか一方は静止物のオフセット量である。このため、立体物検出部33は、移動速度から静止物についてのオフセット量を求め、そのオフセット量に該当する極大値について無視し、残り一方の極大値を採用して立体物の移動距離を算出する。
なお、静止物に該当するオフセット量を無視したとしても、極大値が複数存在する場合、カメラ10の画角内に他車両VXが複数台存在すると想定される。しかし、検出領域A1,A2内に複数の他車両VXが存在することは極めて稀である。このため、立体物検出部33は、移動距離の算出を中止する。
次に差分波形情報による立体物検出手順を説明する。図11及び図12は、本実施形態の立体物検出手順を示すフローチャートである。図11に示すように、まず、計算機30はカメラ10による撮像画像Pのデータを入力し、スミア検出部40によりスミア画像SPを生成する(S1)。次いで、視点変換部31は、カメラ10からの撮像画像Pのデータから鳥瞰画像PBのデータを生成すると共に、スミア画像SPのデータからスミア鳥瞰画像SBのデータを生成する(S2)。
そして、位置合わせ部33は、鳥瞰画像PBのデータと、一時刻前の鳥瞰画像PB −1のデータとを位置合わせすると共に、スミア鳥瞰画像SBのデータと、一時刻前のスミア鳥瞰画像SBt−1のデータとを位置合わせする(S3)。この位置合わせ後、位置合わせ部33は、差分画像PDのデータを生成すると共に、マスク画像MPのデータを生成する(S4)。その後、立体物検出部33は、差分画像PDのデータと、一時刻前の差分画像PDt−1のデータとから、差分波形DWを生成する(S5)。差分波形DWを生成後、立体物検出部33は、差分波形DWのうち、スミアSの発生領域に該当するカウント数をゼロとし、スミアSによる影響を抑制する(S6)。
その後、立体物検出部33は、差分波形DWのピークが第1閾値α以上であるか否かを判断する(S7)。この第1閾値αは、予め設定しておき、図3に示す制御部39の制御命令に従い変更することもできるが、その詳細については後述する。ここで、差分波形DWのピークが第1閾値α以上でない場合、すなわち差分が殆どない場合には、撮像画像P内には立体物が存在しないと考えられる。このため、差分波形DWのピークが第1閾値α以上でないと判断した場合には(S7:NO)、立体物検出部33は、立体物が存在せず、障害物としての他車両が存在しないと判断する(図12:S16)。そして、図11及び図12に示す処理を終了する。
一方、差分波形DWのピークが第1閾値α以上であると判断した場合には(S7:YES)、立体物検出部33は、立体物が存在すると判断し、差分波形DWを複数の小領域DWt1〜DWtnに分割する(S8)。次いで、立体物検出部33は、小領域DW 〜DWtn毎に重み付けを行う(S9)。その後、立体物検出部33は、小領域DW 〜DWtn毎のオフセット量を算出し(S10)、重みを加味してヒストグラムを生成する(S11)。
そして、立体物検出部33は、ヒストグラムに基づいて自車両Vに対する立体物の移動距離である相対移動距離を算出する(S12)。次に、立体物検出部33は、相対移動距離から立体物の絶対移動速度を算出する(S13)。このとき、立体物検出部33は、相対移動距離を時間微分して相対移動速度を算出すると共に、車速センサ20で検出された自車速を加算して、絶対移動速度を算出する。
その後、立体物検出部33は、立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるか否かを判断する(S14)。双方を満たす場合には(S14:YES)、立体物検出部33は、立体物が他車両VXであると判断する(S15)。そして、図11及び図12に示す処理を終了する。一方、何れか一方でも満たさない場合には(S14:NO)、立体物検出部33は、他車両が存在しないと判断する(S16)。そして、図11及び図12に示す処理を終了する。
なお、本実施形態では自車両Vの後側方を検出領域A1,A2とし、自車両Vが走行中に注意を払うべきである自車両の走行車線の隣を走行する隣接車線を走行する他車両VXを検出すること、特に、自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いている。自車両Vが車線変更した場合に、自車両の走行車線の隣の隣接車線を走行する他車両VXと接触する可能性がある否かを判断するためである。このため、ステップS14の処理が実行されている。すなわち、本実施形態にけるシステムを高速道路で作動させることを前提とすると、立体物の速度が10km/h未満である場合、たとえ他車両VXが存在したとしても、車線変更する際には自車両Vの遠く後方に位置するため問題となることが少ない。同様に、立体物の自車両Vに対する相対移動速度が+60km/hを超える場合(すなわち、立体物が自車両Vの速度よりも60km/hより大きな速度で移動している場合)、車線変更する際には自車両Vの前方に移動しているため問題となることが少ない。このため、ステップS14では車線変更の際に問題となる他車両VXを判断しているともいえる。
また、ステップS14において立体物の絶対移動速度が10km/h以上、且つ、立体物の自車両Vに対する相対移動速度が+60km/h以下であるかを判断することにより、以下の効果がある。例えば、カメラ10の取り付け誤差によっては、静止物の絶対移動速度を数km/hであると検出してしまう場合があり得る。よって、10km/h以上であるかを判断することにより、静止物を他車両VXであると判断してしまう可能性を低減することができる。また、ノイズによっては立体物の自車両Vに対する相対速度を+60km/hを超える速度に検出してしまうことがあり得る。よって、相対速度が+60km/h以下であるかを判断することにより、ノイズによる誤検出の可能性を低減できる。
さらに、ステップS14の処理に代えて、絶対移動速度がマイナスでないことや、0km/hでないことを判断してもよい。また、本実施形態では自車両Vが車線変更した場合に接触する可能性がある否かに重点を置いているため、ステップS15において他車両VXが検出された場合に、自車両の運転者に警告音を発したり、所定の表示装置により警告相当の表示を行ったりしてもよい。
このように、本例の差分波形情報による立体物の検出手順によれば、視点変換により立体物が倒れ込む方向に沿って、差分画像PDのデータ上において所定の差分を示す画素数をカウントして度数分布化することで差分波形DWを生成する。ここで、差分画像PDのデータ上において所定の差分を示す画素とは、異なる時刻の画像において変化があった画素であり、言い換えれば立体物が存在した箇所であるといえる。このため、立体物が存在した箇所において、立体物が倒れ込む方向に沿って画素数をカウントして度数分布化することで差分波形DWを生成することとなる。特に、立体物が倒れ込む方向に沿って画素数をカウントすることから、立体物に対して高さ方向の情報から差分波形DWを生成することとなる。そして、高さ方向の情報を含む差分波形DWの時間変化から立体物の移動距離を算出する。このため、単に1点の移動のみに着目するような場合と比較して、時間変化前の検出箇所と時間変化後の検出箇所とは高さ方向の情報を含んで特定されるため立体物において同じ箇所となり易く、同じ箇所の時間変化から移動距離を算出することとなり、移動距離の算出精度を向上させることができる。
また、差分波形DWのうちスミアSの発生領域に該当する箇所について、度数分布のカウント数をゼロとする。これにより、差分波形DWのうちスミアSによって生じる波形部位を除去することとなり、スミアSを立体物と誤認してしまう事態を防止することができる。
また、異なる時刻に生成された差分波形DWの誤差が最小となるときの差分波形DW のオフセット量から立体物の移動距離を算出する。このため、波形という1次元の情報のオフセット量から移動距離を算出することとなり、移動距離の算出にあたり計算コストを抑制することができる。
また、異なる時刻に生成された差分波形DWを複数の小領域DWt1〜DWtnに分割する。このように複数の小領域DWt1〜DWtnに分割することによって、立体物のそれぞれの箇所を表わした波形を複数得ることとなる。また、小領域DWt1〜DWtn毎にそれぞれの波形の誤差が最小となるときのオフセット量を求め、小領域DWt1〜DWtn毎に求めたオフセット量をカウントしてヒストグラム化することにより、立体物の移動距離を算出する。このため、立体物のそれぞれの箇所毎にオフセット量を求めることとなり、複数のオフセット量から移動距離を求めることとなり、移動距離の算出精度を向上させることができる。
また、複数の小領域DWt1〜DWtn毎に重み付けをし、小領域DWt1〜DWtn毎に求めたオフセット量を重みに応じてカウントしてヒストグラム化する。このため、特徴的な領域については重みを大きくし、特徴的でない領域については重みを小さくすることにより、一層適切に移動距離を算出することができる。従って、移動距離の算出精度を一層向上させることができる。
また、差分波形DWの各小領域DWt1〜DWtnについて、所定の差分を示す画素数のカウントの最大値と最小値との差が大きいほど、重みを大きくする。このため、最大値と最小値との差が大きい特徴的な起伏の領域ほど重みが大きくなり、起伏が小さい平坦な領域については重みが小さくなる。ここで、平坦な領域よりも起伏の大きい領域の方が形状的にオフセット量を正確に求めやすいため、最大値と最小値との差が大きい領域ほど重みを大きくすることにより、移動距離の算出精度を一層向上させることができる。
また、小領域DWt1〜DWtn毎に求めたオフセット量をカウントして得られたヒストグラムの極大値から、立体物の移動距離を算出する。このため、オフセット量にバラつきがあったとしても、その極大値から、より正確性の高い移動距離を算出することができる。
また、静止物についてのオフセット量を求め、このオフセット量を無視するため、静止物により立体物の移動距離の算出精度が低下してしまう事態を防止することができる。また、静止物に該当するオフセット量を無視したうえで、極大値が複数ある場合、立体物の移動距離の算出を中止する。このため、極大値が複数あるような誤った移動距離を算出してしまう事態を防止することができる。
なお上記実施形態において、自車両Vの車速を車速センサ20からの信号に基づいて判断しているが、これに限らず、異なる時刻の複数の画像から速度を推定するようにしてもよい。この場合、車速センサが不要となり、構成の簡素化を図ることができる。
また、上記実施形態においては撮像した現時刻の画像と一時刻前の画像とを鳥瞰図に変換し、変換した鳥瞰図の位置合わせを行ったうえで差分画像PDを生成し、生成した差分画像PDを倒れ込み方向(撮像した画像を鳥瞰図に変換した際の立体物の倒れ込み方向)に沿って評価して差分波形DWを生成しているが、これに限定されない。例えば、一時刻前の画像のみを鳥瞰図に変換し、変換した鳥瞰図を位置合わせした後に再び撮像した画像相当に変換し、この画像と現時刻の画像とで差分画像を生成し、生成した差分画像を倒れ込み方向に相当する方向(すなわち、倒れ込み方向を撮像画像上の方向に変換した方向)に沿って評価することによって差分波形DWを生成してもよい。すなわち、現時刻の画像と一時刻前の画像との位置合わせを行い、位置合わせを行った両画像の差分から差分画像PDを生成し、差分画像PDを鳥瞰図に変換した際の立体物の倒れ込み方向に沿って評価できれば、必ずしも明確に鳥瞰図を生成しなくともよい。
《エッジ情報による立体物の検出》
次に、図3に示す立体物の検出ブロックAに代えて動作させることが可能である、立体物の検出ブロックBについて説明する。立体物の検出ブロックBは、輝度差算出部35、エッジ線検出部36及び立体物検出部37で構成されるエッジ情報を利用して立体物を検出する。図13は、図3のカメラ10の撮像範囲等を示す図であり、図13(a)は平面図、図13(b)は、自車両Vから後側方における実空間上の斜視図を示す。図13(a)に示すように、カメラ10は所定の画角aとされ、この所定の画角aに含まれる自車両Vから後側方を撮像する。カメラ10の画角aは、図2に示す場合と同様に、カメラ10の撮像範囲に自車両Vが走行する車線に加えて、隣接する車線も含まれるように設定されている。
本例の検出領域A1,A2は、平面視(鳥瞰視された状態)において台形状とされ、これら検出領域A1,A2の位置、大きさ及び形状は、距離d〜dに基づいて決定される。なお、同図に示す例の検出領域A1,A2は台形状に限らず、図2に示すように鳥瞰視された状態で矩形など他の形状であってもよい。
ここで、距離d1は、自車両Vから接地線L1,L2までの距離である。接地線L1,L2は、自車両Vが走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Vの後側方において自車両Vの車線に隣接する左右の車線を走行する他車両VX等(2輪車等を含む)を検出することが目的である。このため、自車両Vから白線Wまでの距離d11及び白線Wから他車両VXが走行すると予測される位置までの距離d12から、他車両VXの接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
また、距離d1については、固定的に決定されている場合に限らず、可変としてもよい。この場合に、計算機30は、白線認識等の技術により自車両Vに対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。以下の本実施形態においては、他車両VXが走行する位置(白線Wからの距離d12)及び自車両Vが走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両Vの後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両VX等であるため、距離d3は、他車両VXを含む長さに設定される。
距離d4は、図13(b)に示すように、実空間において他車両VX等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰視画像においては図13(a)に示す長さとされる。なお、距離d4は、鳥瞰視画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの車線)を含まない長さとすることもできる。自車両Vの車線から2車線隣の車線を含んでしまうと、自車両Vが走行している車線である自車線の左右の隣接車線に他車両VXが存在するのか、2車線隣りの車線に他車両VXが存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定され、これにより検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図13(b)に示すように、自車両Vから後側方における実空間上では真四角(長方形)となる。
図3に戻り、視点変換部31は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部31は、入力した撮像画像データに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰視される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開2008−219063号公報に記載された技術によって実現することができる。
輝度差算出部35は、鳥瞰視画像に含まれる立体物のエッジを検出するために、視点変換部31により視点変換された鳥瞰視画像データに対して、輝度差の算出を行う。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出することができる。
鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部35は、視点変換された鳥瞰視画像に対して、実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部35は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部35の動作について詳細に説明する。
輝度差算出部35は、図14(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。また輝度差算出部35は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。ここで参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰視画像においてはカメラ10の位置Psから放射状に広がる線となる。この放射状に広がる線は、鳥瞰視に変換した際に立体物が倒れ込む方向に沿う線である。
輝度差算出部35は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。また輝度差算出部35は、参照線Lr上に参照点Pr(第2鉛直板想線上の点)を設定する。これら注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図14(b)に示す関係となる。図14(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びた線であり、注目点Paと参照点Prとは、実空間上において略同じ高さに設定される点である。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容される。
輝度差算出部35は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいと、注目点Paと参照点Prとの間にエッジが存在すると考えられる。このため、図3に示したエッジ線検出部36は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
この点をより詳細に説明する。図15は、輝度差算出部35の詳細動作を示す図であり、図15(a)は鳥瞰視された状態の鳥瞰視画像を示し、図15(b)は、図15(a)に示した鳥瞰視画像の一部B1を拡大した図である。なお図15についても検出領域A1のみを図示して説明するが、検出領域A2についても同様の手順で輝度差を算出する。
カメラ10が撮像した撮像画像内に他車両VXが映っていた場合に、図15(a)に示すように、鳥瞰視画像内の検出領域A1に他車両VXが現れる。図15(b)に図15(a)中の領域B1の拡大図を示すように、鳥瞰視画像上において、他車両VXのタイヤのゴム部分上に注目線Laが設定されていたとする。この状態において、輝度差算出部35は、先ず参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1において、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰視画像上において、例えば他車両VXのタイヤのゴムから10cm相当だけ離れた他車両VXのタイヤのホイール上に設定される。
次に、輝度差算出部35は、注目線La上に複数の注目点Pa1〜PaNを設定する。図15(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N個の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部35は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。そして、輝度差算出部35は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部35は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素の輝度差を算出する。輝度差算出部35は、例えば第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部35は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部35は、第3〜第N注目点Pa3〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
輝度差算出部35は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出といった処理を繰り返し実行する。すなわち、輝度差算出部35は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線L1の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部35は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくことになる。
図3に戻り、エッジ線検出部36は、輝度差算出部35により算出された連続的な輝度差から、エッジ線を検出する。例えば、図15(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部36は、輝度差が大きい第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出することができる。
具体的には、エッジ線検出部36は、エッジ線を検出するにあたり、先ず下記の数式1に従って、i番目の注目点Pai(座標(xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
[数1]
I(xi,yi)>I(xi’,yi’)+tのとき
s(xi,yi)=1
I(xi,yi)<I(xi’,yi’)−tのとき
s(xi,yi)=−1
上記以外のとき
s(xi,yi)=0
上記数式1において、tは閾値を示し、I(xi,yi)はi番目の注目点Paiの輝度値を示し、I(xi’,yi’)はi番目の参照点Priの輝度値を示す。上記数式1によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は‘1’となる。一方、注目点Paiの輝度値が、参照点Priから閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は‘−1’となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は‘0’となる。この閾値tは、予め設定しておき、図3に示す制御部39が発する制御命令に従い変更することもできるが、その詳細については後述する。
次にエッジ線検出部36は、下記数式2に基づいて、注目線Laに沿った属性sの連続性c(xi,yi)から、注目線Laがエッジ線であるか否かを判定する。
[数2]
s(xi,yi)=s(xi+1,yi+1)のとき(且つ0=0を除く)、
c(xi,yi)=1
上記以外のとき、
c(xi,yi)=0
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は‘1’となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は‘0’となる。
次にエッジ線検出部36は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部36は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。エッジ線検出部36は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。閾値θは予め設定しておくことができる。
すなわち、エッジ線検出部36は、下記数式3に基づいて注目線Laがエッジ線であるか否かを判断する。そして、エッジ線検出部36は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
[数3]
Σc(xi,yi)/N>θ
図3に戻り、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。上述したように、本実施形態に係る立体物検出装置1は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部37は、エッジ線検出部36により検出されたエッジ線の量に基づいて立体物を検出する。さらに、立体物検出部37は、立体物を検出するに先立って、エッジ線検出部36により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部37は、エッジ線上の鳥瞰視画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。一方、エッジ線上の鳥瞰視画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。
図16は、エッジ線の輝度分布を示す図であり、図16(a)は検出領域A1に立体物としての他車両VXが存在した場合のエッジ線及び輝度分布を示し、図16(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示す。
図16(a)に示すように、鳥瞰視画像において他車両VXのタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰視画像に視点変換されたことにより、他車両VXのタイヤが鳥瞰視画像内で引き延ばされたことによる。一方、図16(b)に示すように、鳥瞰視画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の鳥瞰視画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、立体物検出部37は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部37は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。
具体的には、立体物検出部37は、下記数式4,5の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記数式4は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記数式5は、注目線La上のi番目の輝度値I(xi,yi)と、隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
[数4]
鉛直相当方向の評価値=Σ[{I(xi,yi)−I(xi+1,yi+1)}
[数5]
鉛直相当方向の評価値=Σ|I(xi,yi)−I(xi+1,yi+1)|
なお、数式5に限らず、下記数式6のように、閾値t2を用いて隣接する輝度値の属性bを二値化して、当該二値化した属性bを全ての注目点Paについて総和してもよい。
[数6]
鉛直相当方向の評価値=Σb(xi,yi)
但し、|I(xi,yi)−I(xi+1,yi+1)|>t2のとき、
b(xi,yi)=1
上記以外のとき、
b(xi,yi)=0
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性b(xi,yi)は‘1’となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は‘0’となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部37は、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。
次に、本実施形態に係るエッジ情報を利用した立体物検出方法について説明する。図17及び図18は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図17及び図18においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様の処理が実行される。
図17に示すように、先ずステップS21において、カメラ10は、画角a及び取付位置によって特定された所定領域を撮像する。次に視点変換部31は、ステップS22において、ステップS21にてカメラ10により撮像された撮像画像データを入力し、視点変換を行って鳥瞰視画像データを生成する。
次に輝度差算出部35は、ステップS23において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。次に輝度差算出部35は、ステップS24において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部35は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に輝度差算出部35は、ステップS25において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部35は、エッジ線検出部36によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。また、輝度差算出部35は、ステップS26において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
次に輝度差算出部35は、ステップS27において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。次にエッジ線検出部36は、上記の数式1に従って、各注目点Paの属性sを算出する。次にエッジ線検出部36は、ステップS28において、上記の数式2に従って、各注目点Paの属性sの連続性cを算出する。次にエッジ線検出部36は、ステップS29において、上記数式3に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合(S29:YES)、エッジ線検出部36は、ステップS30において、当該注目線Laをエッジ線として検出する。そして、処理はステップS31に移行する。正規化した値が閾値θより大きくないと判断した場合(S29:NO)、エッジ線検出部36は、当該注目線Laをエッジ線として検出せず、処理はステップS31に移行する。この閾値θは予め設定しておくことができるが、制御部39に制御命令に応じて変更することもできる。
ステップS31において、計算機30は、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS23〜ステップS30の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(S31:NO)、ステップS23に処理を戻して、新たに注目線Laを設定して、ステップS31までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(S31:YES)、処理は図18のステップS32に移行する。
図18のステップS32において、立体物検出部37は、図17のステップS30において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部37は、上記数式4,5,6の何れかの式に従って、エッジ線の輝度変化を算出する。次に立体物検出部37は、ステップS33において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。
次に立体物検出部37は、ステップS34において、エッジ線の量が第2閾値β以上であるか否かを判断する。なお、この第2閾値βは、予め実験等によって求めておいて設定しておき、図3に示す制御部39が発する制御命令に従い変更することもできるが、その詳細については後述する。例えば、検出対象の立体物として四輪車を設定した場合、当該第2閾値βは、予め実験等によって検出領域A1内において出現した四輪車のエッジ線の数に基づいて設定される。エッジ線の量が第2閾値β以上であると判定した場合(S34:YES)、立体物検出部37は、ステップS35において、検出領域A1内に立体物が存在すると検出する。一方、エッジ線の量が第2閾値β以上ではないと判定した場合(S34:NO)、立体物検出部37は、検出領域A1内に立体物が存在しないと判断する。その後、図17及び図18に示す処理は終了する。検出された立体物は、自車両Vが走行する車線の隣の隣接車線を走行する他車両VXであると判断してもよいし、検出した立体物の自車両Vに対する相対速度を考慮して隣接車線を走行する他車両VXであるか否かを判断してもよい。この第2閾値βは予め設定しておくことができるが、制御部39に制御命令に応じて変更することもできる。
以上のように、本実施形態のエッジ情報を利用した立体物の検出方法によれば、検出領域A1,A2に存在する立体物を検出するために、鳥瞰視画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定することができる。
具体的には、鳥瞰視画像における検出領域A1,A2に対して、実空間において鉛直方向に伸びる線分に該当する注目線Laと、注目線Laとは異なる参照線Lrとを設定する。そして、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差を注目線La及び参照線Laに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Laと参照線Lrとの輝度差を求める。注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。これによって、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、鳥瞰視画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、本例の方法によれば、立体物の検出精度を向上させることができる。
また、本例では、鉛直仮想線付近の略同じ高さの2つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求めるので、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。
更に、本例では、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断するので、輝度の高い領域と輝度の低い領域との境界をエッジ線として検出し、人間の自然な感覚に沿ったエッジ検出を行うことができる。この効果について詳細に説明する。図19は、エッジ線検出部36の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接した画像である。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部36は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定するので、エッジ線検出部36は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識してしまう誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
さらに、本例では、エッジ線検出部36により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ10により取得された撮像画像を鳥瞰視画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で鳥瞰視画像に現れる傾向がある。例えば、上述したように他車両VXのタイヤが引き伸ばされた場合に、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における鳥瞰視画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合に、鳥瞰視画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合に、鳥瞰視画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、本例のようにエッジ線に沿った鳥瞰視画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高めることができる。
《立体物の最終判断》
図3に戻り、本例の立体物検出装置1は、上述した2つの立体物検出部33(又は立体物検出部37)と、立体物判断部34と、高輝度領域判断部38と、制御部39とを備える。立体物判断部34は、立体物検出部33(又は立体物検出部37)により検出結果に基づいて、検出された立体物が最終的に検出領域A1,A2に他車両VXであるか否かを判断する。高輝度領域判断部38は、高輝度領域を含む各検出領域A1,A2の何れか一方の検出領域を判断する。制御部39は、各検出領域A1,A2の何れか一方に高輝度領域が含まれると判断された場合には、その検出領域A1,A2の画像情報から検出される立体物が他車両VXであると判断されることを抑制する。
具体的に、制御部39は、検出される立体物が検出領域A1,A2に存在する他車両Vであると判断されることが抑制されるように計算機30を構成する各部(制御部39を含む)を制御する制御命令を出力する。たとえば、制御部39は、立体物検出部33(又は立体物検出部37)による立体物が存在するという検出結果、又は立体物判断部34による立体物が最終的に他車両VXであるという判断結果が出ることを抑制するために、検出や判断に用いられる閾値や出力値を調整するための制御指令を生成して立体物検出部33(又は立体物検出部37)又は立体物判断部34へ送出する。
また、制御部39は、立体物の検出処理又は立体物が他車両VXであるか否かの判断を中止させる制御指令、立体物は非検出である又は立体物は他車両VXではない旨の結果を出力させる制御指令を生成して立体物検出部33(又は立体物検出部37)又は立体物判断部34へ送出することができる。
本実施形態の立体物検出部33は、制御部39の制御命令に従い、閾値又は出力値を調整し、厳しい基準の下で立体物の検出を行い、立体物は非検出である旨の検出結果を出力し、又は立体物検出処理自体を中止する。同様に、立体物判断部38は、制御部39の制御命令に従い、閾値又は出力値を調整し、厳しい基準の下で検出された立体物が他車両VXであるか否かの判断を行い、立体物は他車両VXではない旨の判断を出力し、又は立体物判断処理自体を中止する。上記制御処理は、高輝度領域判断部38により、右側検出領域又は左側検出領域A1,A2の何れか一方であって、所定の基準を満たす高輝度領域を含む第1検出領域A1,A2が検出された場合に行われる。
図20A及び図20Bは、検出領域A1,A2に形成される高輝度領域を説明するための図である。
図20Aに示す状況においては、太陽SUなどの光源からの強い光SULが検出領域A1に差し込んで路面に反射すると、路面の検出領域A1内に高輝度領域L1が形成される。高輝度領域L1における反射光の多くが自車両Vのカメラ10のレンズに入射するので、この状態で撮像された画像情報には高輝度領域L1に対応する情報が含まれる。他方、太陽SUなどの強い光SULが検出領域A2に差し込んで反射すると、検出領域A2内にも同じように高輝度領域が形成されるが、この反射光の多くが自車両Vのカメラ10のレンズに入射しないので、検出領域A1の高輝度領域L1に相当する高輝度領域は検出領域A2に形成されない。このように、検出領域A1,A2に自車両Vの側方(前方及び後方を除く方向)から太陽光SULなどの強い光が差し込む状況においては、検出領域A1,A2の何れか一方の検出領域には高輝度領域Lが形成されて相対的に明るい環境となり、他方の検出領域には高輝度領域Lが形成されずに相対的に暗い環境となる。
太陽光などの強い光が反射する反射光も強い光であるので、領域L1周囲には所定量以上の輝度差が生じ、いわゆる画像処理技術上のエッジが形成される。太陽が翳るなどの光源からの光が何かに遮られる、自車両Vの進行方向が変化するといった状況変化がない限り、領域L1の反射像は自車両Vの検出領域A1,A2上に継続的に観察される。領域L1の反射像のエッジ(輝度差が所定値以上の画素又は画素群)は、鳥瞰視画像に視点変換させた際における立体物の倒れ込み方向に沿って現れる傾向があり、この場合には領域L1の反射像(虚像)が立体物の像(実像)の特徴を備えると判断されてしまう。さらに、領域L1の反射像は検出領域A1,A2上に継続的に観察されるので、安定した移動速度が検出されるとともに、自車両Vとの相対速度も小さい値になる傾向がある。この場合には、領域L1の反射像(虚像)が他車両VXの像(実像)の特徴を備えると判断されてしまう場合がある。
また、図20Bに示す状況においては、検出領域A1,A2に他車両VXがそれぞれ存在し、太陽SUなどの光源からの強い光が検出領域A1,A2に差し込む。この場合において、太陽光SULは、図中右側の検出領域A2に存在する他車両VXの右側面に反射して領域L2に高輝度領域を形成する一方で、図中左側の検出領域A1に存在する他車両VXの右側面乃至後方に反射し、他車両VXの左側面に影を生成して領域D1に低輝度領域を形成する。自車両Vのカメラ10で検出領域A1,A2を撮像すると、検出領域A2には反射像(虚像)に起因する高輝度領域L2が含まれ、検出領域A1には他車両VXの影に起因する低輝度領域D1が含まれる。このように、検出領域A1,A2に自車両Vの側方(前方及び後方を除く方向)から太陽光SULなどの強い光が差し込み、各検出領域A1,A2のそれぞれに他車両VXが存在する状況においては、検出領域A1,A2の何れか一方の検出領域は高輝度領域Lを含んで明るい環境となり、他方の検出領域には高輝度領域が含まれずに暗い環境となる。
この図20Bの状況において、太陽光が他車両VXの右側面(ボディ)に当たると、検出領域A2に強い反射光が生じる。この反射光により検出領域A2の撮像画像の輝度が全体的に高くシフトするため、他車両VXの特徴に対応しない部分の差分波形情報やエッジ情報の値が大きく出力されたり、他車両VXの特徴に対応する部分の差分波形情報やエッジ情報の特徴が明瞭に出力されなかったりする場合がある。他方、太陽光等が他車両VXの右側面から後方に当たると、太陽光等が遮られることにより検出領域A1の輝度が全体的に低くシフトするため、他車両VXの特徴に対応する部分の差分波形情報やエッジ情報の値が低く出力されたり、他車両VXの特徴に対応する部分の差分波形情報やエッジ情報の特徴が明瞭に出力されなかったりする場合がある。
また、本発明に係る立体物検出装置1では、立体物の検出制御を行うために、立体物検出処理に用いる閾値を一律に(検出領域A1,A2を識別することなく)変更する場合がある。例えば、レンズに異物が付着して曇ってしまった場合には、この曇ったレンズでも立体物が検出できるように立体物検出を促進するために閾値を下げるといった制御を行うことがあるが、このように各制御において一律に閾値を下げると、高輝度領域を含む明るい環境の検出領域A1,A2においては、上述した太陽光等などによる反射像の画素値又はこの画素値に基づいて算出された値が閾値を超えてしまう場合がある。つまり、上述した領域L1の反射像(虚像)を立体物や他車両VXの像(実像)として誤検出してしまう場合がある。他方、高輝度領域を含まない又は低輝度領域を含む暗い環境の検出領域A1,A2においては、実在する他車両VXの像(実像)の画素値又はこの画素値に基づいて算出された値が閾値を超えない場合がある。つまり、実在する他車両VXの像(実像)を平面物や静止物の像又は虚像として誤検出してしまう場合がある。本例では、光源が太陽であり、検出領域A1,A2に差し込む強い光が太陽光である例を用いて説明するが、高輝度領域を形成する光は特に限定されず、他車両VXのヘッドライト、道路近傍に設けられたサーチライトや、工事用などの照明ライトなどであってもよい。
このため、本実施形態の立体物検出装置1では、高輝度領域を含む第1検出領域を検出し、この第1検出領域の画像情報に基づいて検出された立体物が他車両VXであると判断されることを抑制するとともに、第1検出領域以外の第2検出領域の画像情報に基づいて検出された立体物が他車両VXであると判断されることを維持又は促進する。
続いて、第1検出領域を判断する高輝度領域判断部38について説明する。本実施形態の高輝度領域判断部38は、右側検出領域又は左側検出領域A1,A2の何れか一方であって、所定の基準を満たす高輝度領域を含む一方の検出領域A1,A2を第1検出領域として判断し、第1検出領域以外の検出領域を第2検出領域として判断する。
高輝度領域を判断する際の「所定の基準」は特に限定されないが、本実施形態の高輝度領域判断部38は、右側検出領域及び左側検出領域A1,A2のうち所定輝度以上の画素が所定密度(画素密度)以上含まれる領域を高輝度領域として判断する。これにより、高輝度領域を画素の値に基づいて定量的に判断することができる。また、本実施形態の高輝度領域判断部38は、検出領域A1,A2における輝度値の分布における所定輝度以上の画素の画素数の占有率、検出領域A1,A2における輝度値の分布におけるピークを中心とする所定閾値内に分布する画素の画素数の占有率、検出領域A1,A2における輝度値の分布において高輝度領域を定義する分布図とマッチングした場合の類似度などに基づいて、「所定の基準」を定義することができる。
また、本実施形態の高輝度領域判断部38は、自車両Vの走行地点ごとの走行方向と太陽の存在方向に基づいて、第1検出領域を判断する。具体的に、本実施形態の高輝度領域判断部38は、自車両Vの走行方向と走行地点を検出し、自車両Vの走行方向と太陽の存在方向との関係に、高輝度領域を含む第1検出領域の左右識別子(右側検出領域A1と左側検出領域A2とを識別する付加情報)を予め対応づけた対応関係381をアクセス可能に記憶する。また、高輝度領域判断部38は、検出された自車両Vの走行地点と、各地点における太陽の存在する方向を時刻に対応づけた暦情報391とから、走行地点における太陽の存在方向を所定周期で求める。そして、高輝度領域判断部38は、走行地点における太陽の存在方向と自車両Vの走行方向とに基づいて、対応関係381を参照し、右側検出領域A1又は左側検出領域A2のうちの何れか一方を高輝度領域を含む第1検出領域として判断する。これにより、自車両Vと太陽との位置関係に基づく環境に応じて高輝度領域を含む第1検出領域A1,A2を正確に判断することができる。
この場合において、本実施形態の高輝度領域判断部38は、立体物検出部33,37により検出領域A1,A2に立体物が検出されていない場合に参照される第1対応関係381(1)と、立体物検出部33,37により検出領域A1,A2に立体物が検出されている場合に参照される第2対応関係381(2)とを予め記憶しておくことが好ましい。これは、太陽が同じ方向から検出領域A1,A2を照らしても、検出領域A1,A2に立体物が存在するか否かによって、高輝度領域が形成される検出領域A1,A2が異なるからである。例えば、図20Aに示すように、太陽SUが西方向にある場合において、検出領域A1,A2に立体物が存在しない場合には高輝度領域を含む第1検出領域は右側検出領域A1であるのに対し、図20Bに示すように、同じく太陽SUが西方向にある場合において、検出領域A1,A2に立体物が存在する場合には高輝度領域を含む第1検出領域は左側検出領域A2となる。
特に限定されないが、検出領域A1,A2に立体物が存在しない場合に適用される第1対応関係381(1)においては、太陽の存在方向が自車両の進行方向に対して所定角度(例えば時計回りに100度〜170度:図20Aで示す角度W1)である場合には、第1検出領域は右側検出領域A1であり、第2検出領域は左側検出領域A2であると対応関係を定義することができる。同様に、検出領域A1,A2に立体物が存在する場合に適用される第2対応関係381(2)においては、太陽の存在方向が自車両の進行方向に対して所定角度(例えば時計回りに100度〜170度:図20Bで示す角度W1)である場合には、第1検出領域は左側検出領域A2であり、第2検出領域は左側検出領域A1であると対応関係を定義することができる。これにより、高輝度領域を含む検出領域A1,A2を、状況に応じて正確に判断することができる。なお、太陽の存在方向が自車両の進行方向に対して例えば反時計回りに100度〜170度(図20A,Bで示す角度W2)である場合も同様である。
本実施形態の高輝度領域判断部38は立体物検出部33,37が立体物を検出していない旨の検出結果を取得した場合には、第1対応関係381(1)を参照し、立体物検出部33,37が立体物を検出した旨の検出結果を取得した場合には、第2対応関係38182)を参照して、上述の手法により第1検出領域A1,A2を判断する。
また、本実施形態の高輝度領域判断部38は、上述した対応関係381を参照した第1検出領域の判断処理を、太陽の高度が所定高さ未満である場合においてのみ行う。特に限定されないが、太陽の高度が所定高さ以下、例えば65度以下、40度以下、又は20度以下である場合には、日本における西日のように検出領域A1,A2に差し込む光が強くなり、高輝度領域が形成されやすい環境といえる。具体的に高輝度領域判断部38は、自車両Vの走行地点と走行時刻を検出し、各地点における太陽の高度を時刻に対応づけた暦情報391を参照し、検出された自車両Vの走行地点における太陽の存在する高度が所定高さ以下である場合には、対応関係381を参照して高輝度領域を判断する。この場合において、太陽の高さが所定値以下となる時刻内(日の出時刻、日没時刻)である場合に、対応関係381を参照して高輝度領域を判断してもよい。このように、本実施形態では、太陽の高度が低く高輝度領域が形成されやすい環境において、対応関係381を用いた第1検出領域の判断処理を行うので、処理コストを低減するとともに、第1検出領域の検出精度を向上させることができる。
ちなみに、本判断に用いられる自車両Vの走行地点は、自車両Vに搭載されたGPS(Global Positioning System)を備える位置検出装置50により検出する。位置検出装置50は、自車両Vのナビゲーション装置に搭載されたものを用いることができる。走行方向は検出位置の経時的な変化に基づいて検出することができる。また、各地点における太陽の存在する方向を時刻に対応づけた暦情報は、制御部39に予め記憶させておくことができる。
高輝度領域判断部38は、第1検出領域として判断した右側検出領域A1又は左側検出領域A2の左右識別子を制御部39へ出力する。左右識別子は、第1検出領域を特定する情報である。
次に、制御部39について説明する。本実施形態の制御部39は、高輝度領域判断部38により「右側検出領域A1又は左側検出領域A2の何れか一方が所定の基準を満たす高輝度領域を含む」という判断がされ、第1検出領域の左右識別子を取得した場合には、立体物検出部33,37、立体物判断部34において実行される制御命令を生成する。
本実施形態の制御部39は、判断された高輝度領域を含む第1検出領域A1,A2の画像情報に基づいて、検出された立体物が他車両VXであると判断されることを抑制するとともに、右側検出領域A1又は左側検出領域A2のうち第1検出領域以外の第2検出領域の画像情報に基づいて、検出された立体物が他車両VXであると判断されることを維持又は促進する。
本実施形態の制御命令は、第1検出領域A1,A2の画像情報から立体物が検出され、検出される立体物が他車両VXであると判断されることが抑制され、第2検出領域A1,A2の画像情報から立体物が検出され、検出される立体物が他車両VXであると判断されることが維持又は促進されるように各部の動作を制御するための命令である。高輝度領域を含む検出領域A1,A2の画像に基づいて他車両VXを誤検出することを防止するためである。本実施形態の計算機30はコンピュータであるため、立体物検出処理、立体物判断処理に対する制御命令は各処理のプログラムに予め組み込んでもよいし、実行時に送出してもよい。本実施形態の制御命令は、第1検出領域の画像情報に基づいて検出された立体物を他車両として判断する処理を中止させたり、検出された立体物を他車両ではないと判断させたりする結果に対する命令であってもよいし、第1検出領域の画像情報から生成された差分波形情報に基づいて立体物を検出する際の感度を低下させる命令、第1検出領域の画像情報から生成されたエッジ情報に基づいて立体物を検出する際の感度を調整する命令であってもよい。
また、本実施形態では、制御対象となる画像情報をさらに絞り込み、第1検出領域全体ではなく、第1検出領域に含まれる高輝度領域に対応する画像情報に基づいて検出された立体物が他車両VXであると判断されることを抑制する。このように、太陽光による反射像に対応する画像情報についてのみ検出感度を調整して検出抑制制御をすることができるので、太陽光による影響を受けない部分については通常の検出感度で他車両VXの検出を行うことができるので、他車両VXの検出精度を向上させることができる。
以下、制御部39が出力する各制御命令について説明する。
まず、差分波形情報に基づいて立体物を検出する場合の制御命令について説明する。先述したように、立体物検出部33は、差分波形情報と第1閾値αとに基づいて立体物を検出する。そして、本実施形態の制御部39は、高輝度領域判断部38により第1検出領域が判断された場合には、第1検出領域の画像情報又は第1検出領域内の高輝度領域の画像情報を処理する際に適用される第1閾値αを高くする制御命令を立体物検出部33に出力する。第1閾値αとは、図11のステップS7において、差分波形DWのピークを判断するための第1閾値αである(図5参照)。また、制御部39は、第2検出領域の画像情報を処理する際に適用される第1閾値αを同値に維持し又は低くする制御命令を立体物検出部33に出力する。また、制御部39は、差分波形情報における画素値の差分に関する閾値pを高くする制御命令を立体物検出部33に出力することができる。
制御部39は、第1検出領域が判断された場合には、検出領域A1,A2内に形成された高輝度領域の像が立体物の存在を示す情報として検出されてしまう可能性があると判断する。このまま一律の検出感度で立体物を検出すると、第1検出領域A1,A2には他車両VXが存在しないにもかかわらず、太陽光などの強い光が反射する高輝度領域を検出領域A1、A2を走行する他車両VXの像と誤検出する場合がある。このため、制御部39は、第1検出領域については立体物が検出されにくいように、第1閾値α又は差分波形情報を生成する際の画素値の差分に関する閾値pを高く変更する。このように、第1検出領域の画像情報の処理についてのみ判断の閾値を高く変更し、第2検出領域の画像情報の処理については判断の閾値を維持又は低く変更することにより、第1検出領域に形成された高輝度領域の像を隣の車線を走行する他車両VXとして誤検出することを防止しつつ、高輝度領域が形成されない第2検出領域においても適切な閾値で他車両VXの検出を行うことができる。
また、本実施形態の制御部39は、高輝度領域判断部38により第1検出領域A1,A2が検出された場合には、第1検出領域A1,A2の鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力し、第1検出領域A1,A2の鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を同じ又は高く出力する制御命令を立体物検出部33に出力することができる。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図11のステップS5において生成される差分波形DWの縦軸の値である。制御部39は、第1検出領域A1,A2の判断結果を受領すると、検出領域A1,A2に高輝度領域が形成されていると判断するため、この第1検出領域の画像情報から立体物が検出されにくいように、差分波形DWの度数分布化された値を低く変更する。このように、第1検出領域A1,A2の画像情報に基づく出力値を低くし、第1検出領域A1,A2の画像情報に基づく出力値を維持又は高くすることにより、検出領域ごとに検出感度を調整できる。このため、第1検出領域A1,A2の高輝度領域の像を他車両VXとして誤検出すること、第2検出領域A1,A2の立体物の像を立体物ではないと誤検出することを防止することができる。
次に、エッジ情報に基づいて立体物を検出する場合の制御命令について説明する。本実施形態の制御部39は、高輝度領域判断部38により第1検出領域A1,A2が判断されると、第1検出領域A1,A2の画像情報に基づいてエッジ情報を検出する際に用いられる輝度に関する所定閾値を高くし、第2検出領域A1,A2の画像情報に基づいてエッジ情報を検出する際に用いられる輝度に関する所定閾値を維持又は低くする制御命令を立体物検出部37に出力する。エッジ情報を検出する際に用いられる輝度に関する所定閾値とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値を判断する閾値θ、又は図18のステップ34におけるエッジ線の量を評価する第2閾値βである。制御部39は、第1検出領域A1,A2の画像情報に基づいてエッジ線を検出する際に用いられる閾値θ又はエッジ線の量を評価する第2閾値βを高く変更し、第2検出領域A1,A2の画像情報に基づいてエッジ線を検出する際に用いられる閾値θ又はエッジ線の量を評価する第2閾値βを維持又は低く変更する制御命令を立体物検出部33に出力することができる。このように、第1検出領域についてのみ判断の閾値を高く変更し、第2検出領域については判断の閾値を維持又は低く変更することにより、第1検出領域A1,A2に形成された高輝度領域の像を他車両VXとして誤検出することを防止しつつ、高輝度領域が形成されない第2検出領域においても適切な閾値で他車両VXの検出を行うことができる。
また、本実施形態の制御部39は、高輝度領域判断部38により第1検出領域A1,A2が判断された場合には、第1検出領域A1,A2から検出したエッジ情報の量を低く出力し、第2検出領域A1,A2から検出したエッジ情報の量を同値に維持し又は高く出力する制御命令を立体物検出部37に出力する。検出したエッジ情報の量とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値、又は図18のステップ34におけるエッジ線の量である。制御部39は、第1検出領域A1,A2が検出されると、第1検出領域A1,A2の画像情報の各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更し、第2検出領域A1,A2の画像情報の各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を維持又は高く変更する。このように、第1検出領域A1,A2の画像情報に基づく出力値を低くし、第1検出領域A1,A2の画像情報に基づく出力値を維持又は高くすることにより、検出領域ごとに検出感度を調整できるため、第1検出領域A1,A2の高輝度領域の像を他車両VXとして誤検出すること、第2検出領域A1,A2の立体物の像を立体物ではないと誤検出することを防止することができる。
本実施形態の立体物検出装置1は、第1検出領域A1,A2に基づく立体物検出処理の閾値を高くし又は出力値を低くするとともに、第2検出領域A1,A2に基づく立体物検出処理の閾値を低くし又は出力値を高くするので、明るい環境の第1検出領域A1,A2については太陽光などの強い光の反射像(虚像)を自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)として誤検出することを防止しつつ、暗い環境の第2検出領域A1,A2については隣接車線に実在する他車両の像(実像)を他車両ではないと誤検出することを防止することができる。
また、本実施形態の立体物検出装置1は、第1検出領域A1,A2に基づく立体物検出処理の閾値を高くし又は出力値を低くするとともに、第2検出領域A1,A2に基づく立体物検出処理の閾値を低くし又は出力値を高くするので、他車両VXなどのボディに反射した光によって検出される輝度が高くなる第1検出領域A1,A2については、高めに出力される立体物の反射光(実像)を自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)として正しく検出しつつ、他車両VXなどのボディに光が遮られたことによって検出される輝度が低くなる第2検出領域A1,A2については、低めに出力される立体物の反射光(実像)を隣接車線に実在する他車両の像(実像)として正しく検出することができる。
以下、図21に基づいて、本実施形態の立体物検出装置1の制御手順を説明する。
まず、図21に示すステップS41において、高輝度領域判断部38は、高輝度領域を含む第1検出領域A1,A2を検出し、これを第1検出領域A1,A2として判断する。高輝度領域判断部38は、検出領域A1,A2の画像情報に基づいて所定の基準を満たす高輝度領域を検出し、この高輝度領域が左右の検出領域A1,A2のいずれか一方に含まれている場合には、高輝度領域が含まれる検出領域A1,A2を第1検出領域A1,A2として検出し、判断する。右側検出領域A1が第1検出領域であると判断された場合には、左側検出領域A2が第2検出領域となる。
ステップS42において、第1検出領域A1,A2が検出された、つまり第1検出領域A1,A2の判断結果が出力された場合にはステップS51へ進み、第1検出領域A1,A2が検出されない、つまり第1検出領域A1,A2が不検出である旨の判断結果が出力された場合にはステップS43へ進む。
ステップS51において、立体物検出部33、37により立体物が検出されること又は立体物判断部37により立体物が他車両であると判断されることを抑制するために、制御部39は各処理に用いられる各閾値を初期値、標準値その他の設定値よりも高く(検出がされ難くなるように)変更し、又は各閾値と比較される出力値を低く(検出がされ難くなるように)変更する。なお、制御部39が促進処理を行う場合には、促進処理は抑制処理と判断の制御となる。
具体的な処理の内容は、以下のとおりである。
差分波形情報を用いて立体物を検出する立体物検出部33が、差分波形情報が所定の第1閾値α以上であるときに立体物を検出する場合において、制御部39は、立体物が検出され難いように第1閾値αを高く変更する制御命令を生成し、この制御命令を立体物検出部33に出力する。
同じく、立体物検出部33が、差分波形情報が所定の第1閾値α以上であるときに立体物を検出する場合において、制御部39は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部38に出力する。
また、差分波形情報を用いて立体物を検出する立体物検出部33が閾値p以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部39は、立体物が検出され難いように閾値pを高く変更する制御命令を生成し、この制御命令を立体物検出手部38に出力する。
同じく、立体物検出部33が閾値p以上の画素値を示す画素数を所定の差分を示す画素数として抽出する場合において、制御部39は、鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、差分画像上において抽出される画素数を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部38に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37が所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部39は、立体物が検出され難いように所定閾値tを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
同じく、エッジ情報を用いて立体物を検出する立体物検出部37が所定閾値t以上の輝度差を示す画素に基づいてエッジ線を抽出する場合において、制御部39は画素の輝度値を低く変更して出力する制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部39は、立体物が検出され難いように閾値θを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
同じく、エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる閾値θ以上の長さを有するエッジ線に基づいて立体物を検出する場合において、制御部39は、検出したエッジ情報のエッジ線の長さの値を低く変更して出力させる制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部39は、立体物が検出され難いように第2閾値βを高く変更する制御命令を生成し、この制御命令を立体物検出部37に出力する。
エッジ情報を用いて立体物を検出する立体物検出部37がエッジ情報に含まれる所定長さ以上のエッジ線、例えば閾値θ以上の長さを有するエッジ線の本数が第2閾値β以上であるか否かの判断に基づいて立体物を検出する場合において、制御部39は、検出した所定長さ以上のエッジ線の本数を低く出力する制御命令を生成し、この制御命令を立体物検出部37に出力する。
また、立体物判断部34は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部39は、立体物が検出され難いように立体物を他車両であると判断する際の下限となる所定速度を高く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
同じく、立体物判断部34は、検出された立体物の移動速度が予め設定された所定速度以上であるときに、この立体物を他車両であると判断する場合において、制御部39は、立体物を他車両であると判断する際の下限となる所定速度と比較される立体物の移動速度を低く変更して出力する制御命令を生成し、当該制御命令を立体物判断部34に出力する。
また、立体物判断部34が、検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部39は、立体物を他車両であると判断する際の上限となる所定速度を低く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
同じく、立体物判断部34検出された立体物の移動速度が予め設定された所定速度未満であるときに、この立体物を他車両であると判断する場合において、制御部39は、立体物を他車両であると判断する際の上限となる所定速度と比較される立体物の移動速度を高く変更する制御命令を生成し、この制御命令を立体物判断部34に出力する。
なお、ここで「移動速度」は、立体物の絶対速度、および自車両に対する立体物の相対速度を含む。立体物の絶対速度は立体物の相対速度から算出してもよいし、立体物の相対速度は立体物の絶対速度から算出してもよい。
ちなみに、第1閾値αは、図11のステップS7において、差分波形DWtのピークを判断するための閾値である。閾値pは所定の画素値を有する画素を抽出するための閾値である。所定閾値tは所定の輝度差を有する画素又はエッジ成分を抽出するための閾値である。閾値θは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値(エッジの長さ)を判断する閾値であり、第2閾値βは、図18のステップ34におけるエッジ線の量(本数)を評価する閾値である。このように、判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度が調整されるため、他車両VXの誤検出することを防止することができる。
本実施形態の制御部39は、鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く出力する制御命令を立体物検出部33に出力する。鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値とは、図11のステップS5において生成される差分波形DWtの縦軸の値である。また、本実施形態の制御部39は、検出したエッジ情報を低く出力する制御命令を立体物検出部37に出力する。検出したエッジ情報とは、図17のステップS29における各注目点Paの属性の連続性cの総和を正規化した値であるエッジ線の長さのほか、図18のステップ34におけるエッジ線の量である。制御部39は、次回の処理においては立体物が検出されにくいように、各注目点Paの属性の連続性cの総和を正規化した値又はエッジ線の量を低く変更する。このように、出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、隣の車線を走行する他車両VXの誤検出を防止することができる。
以上のように、本実施形態の制御部39は、第1検出領域A1,A2の画像情報に基づいて検出された立体物が他車両VXであると判断されることが抑制されるように、各閾値(第1閾値α、閾値θ、第2閾値β)を高く変更する、及び/又は出力値を低く変更する。この処理の対象は、第1検出領域全体の画像情報であってもよいし、第1検出領域全体の画像情報のうち高輝度領域に対応する画像領域としてもよい。また、各閾値(第1閾値α、閾値θ、第2閾値β)は、高輝度領域の輝度(最大輝度、平均輝度、標準偏差輝度)などが大きいほど、高く変更する。
図22は、この輝度値と各閾値との関係の一例を示す。高輝度領域の輝度が高いほど、差し込んだ太陽光などの強い光の反射により生じた虚像のエッジなどが明確に出やすい。このように高輝度領域の輝度に応じて各閾値を調整することにより、高輝度領域の輝度が高い場合に他車両検出を強く抑制し、立体物検出の精度を維持することができる。
同ステップS51において、制御部39は、第2検出領域A1,A2の画像情報に基づいて検出された立体物が他車両VXであると判断されることが維持又は促進されるように、各閾値(第1閾値α、閾値θ、第2閾値β)を同値に維持し又は低く変更する、及び/又は出力値を同値に維持し又は高く変更する。本処理の対象は、第2検出領域全体の画像情報である。ステップS51において、閾値を設定したらステップS43へ進む。
また、ステップS42において第1検出領域A1,A2が検出された、つまり高輝度領域が発生していると判断された場合には、ステップS47へ進み、この高輝度領域の画像情報をマスク(処理対象から除外)して、ステップS43へ進んでもよい。また、ステップS42において第1検出領域A1,A2が検出され、第1検出領域A1,A2の判断結果が出力された場合には、ステップS48へ進み、今回行われている立体物の検出処理を中止してもよい。
立体物検出装置1は、続くステップS43において、立体物の検出処理を行う。この立体物の検出処理は上述した立体物検出部33による図11、図12の差分波形情報を用いた処理、又は立体物検出部37による図17、図18のエッジ情報を用いた処理に従って行われる。そして、ステップ44において、この立体物検出部33,37により検出領域A1,A2に立体物が検出された場合にはステップS45に進み、検出された立体物が他車両VXであると判断する。他方、立体物検出部33,37により検出領域A1,A2に立体物が検出されない場合にはステップS47に進み、検出領域A1,A2に他車両VXは存在しないと判断する。
以上のように構成され作用する本発明の本実施形態の立体物検出装置1は、以下の効果を奏する。
(1)本実施形態の立体物検出装置1は、右側検出領域A1と左側検出領域A2において明るさの環境が異なる場合において、明るい環境の第1検出領域A1,A2については太陽光などの強い光の反射像(虚像)を自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)として誤検出することを防止しつつ、暗い環境の第2検出領域A1,A2については隣接車線に実在する他車両の像(実像)を他車両ではないと誤検出することを防止することができる。
また、本実施形態の立体物検出装置1は、右側検出領域A1と左側検出領域A2において立体物の存在によって異なる明るさの環境が形成される場合において、他車両VXなどのボディに反射した光によって検出される輝度が高くなる第1検出領域A1,A2については、高めに出力される立体物の反射光(実像)を自車両の走行車線の隣の隣接車線を走行する他車両の像(実像)とし正しく検出しつつ、他車両VXなどのボディに光が遮られたことによって検出される輝度が低くなる第2検出領域A1,A2については、低めに出力される立体物の反射光(実像)を隣接車線に実在する他車両の像(実像)として正しく検出することができる。
この結果、自車両の走行車線の隣の隣接車線を走行する他車両を、高い精度で検出する立体物検出装置を提供することができる。この効果は、差分波形情報に基づいて他車両VXを検出する場合であっても、エッジ情報に基づいて他車両VXを検出する場合であっても同様に奏する。
(2)本実施形態の立体物検出装置1によれば、高輝度領域を含む第1検出領域A1,A2を、第1検出領域A1,A2の画像情報の画素の値に基づいて定量的に検出することができる。
(3)本実施形態の立体物検出装置1によれば、自車両Vと太陽との位置関係に基づく状況に基づいて、高輝度領域を含む第1検出領域A1,A2を検出することができる。
(4)本実施形態の立体物検出装置1によれば、立体物が検出されていない場合の第1対応関係と、立体物が検出されている場合の第2対応関係とを準備することにより、自車両Vと太陽との位置関係に基づく状況に基づいて、高輝度領域を含む第1検出領域A1,A2を正確に検出し、判断することができる。
(5)本実施形態の立体物検出装置1によれば、太陽の高度が所定高さ未満である場合において、対応関係381を参照した第1検出領域の検出・判断処理を行うので、太陽の高度が低く検出領域A1,A2に差し込む光が強い場合(日本における西日が差し込む場合)において、対応関係381を用いた第1検出領域の判断処理を行うので、処理コストを低減するとともに、第1検出領域の検出精度を向上させることができる。
(6)本実施形態の立体物検出装置1によれば、第1検出領域に含まれる高輝度領域に対応する画像情報に基づいて検出された立体物が他車両VXであると判断されることを抑制することにより、制御対象となる画像情報をさらに絞り込むことができるので、太陽光などの強い光による影響を受けない部分については通常の検出感度で他車両VXの検出を行うことができるので、他車両VXの検出精度を向上させることができる
(7)本実施形態の立体物検出装置1によれば、第1検出領域A1,A2が検出された場合には、第1閾値αを高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、第1検出領域A1,A2に形成された高輝度領域の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(8)本実施形態の立体物検出装置1によれば、第1検出領域A1,A2が検出・判断された場合には、差分波形情報を生成する際の出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、第1検出領域A1,A2に含まれる高輝度領域の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(9)本実施形態の立体物検出装置1によれば、第1検出領域A1,A2が検出・判断された場合には、エッジ情報を生成する際の判断の閾値を高く変更することにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、第1検出領域A1,A2に含まれる高輝度領域の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
(10)本実施形態の立体物検出装置1によれば、第1検出領域A1,A2が検出・判断された場合には、エッジ情報を生成する際の出力値を低くすることにより、自車両Vの走行車線の隣を走行する他車両VXが検出されにくいように検出感度を調整できるため、第1検出領域A1,A2に含まれる高輝度領域の像を隣の車線を走行する他車両VXとして誤検出することを防止することができる。
なお、本実施形態に立体物の検出方法においても、上述した立体物検出装置1と同様の作用及び同様の効果を得ることができる。
上記カメラ10は本発明に係る撮像手段に相当し、上記視点変換部31は本発明に係る画像変換手段に相当し、上記位置合わせ部32及び立体物検出部33は本発明に係る立体物検出手段に相当し、上記輝度差算出部35,エッジ線検出部36及び立体物検出部37は本発明に係る立体物検出手段に相当し、上記立体物判断部34は立体物判断手段に相当し、上記高輝度領域判断部38は高輝度領域判断手段に相当し、上記制御部39は制御手段に相当する。
本実施形態における位置合わせ部21は、異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、その位置合わせされた鳥瞰視画像を得るが、この「位置合わせ」処理は、検出対象の種別や要求される検出精度に応じた精度で行うことができる。同一時刻及び同一位置を基準に位置を合わせるといった厳密な位置合わせ処理であってもよいし、各鳥瞰視画像の座標を把握するという程度の緩い位置合わせ処理であってもよい。
1…立体物検出装置
10…カメラ
20…車速センサ
30…計算機
31…視点変換部
32…位置合わせ部
33,37…立体物検出部
34…立体物判断部
35…輝度差算出部
36…エッジ検出部
38…高輝度領域判断部
39…制御部
40…スミア検出部
50…位置検出装置
a…画角
A1,A2…検出領域
CP…交点
DP…差分画素
DW,DW’…差分波形
DWt1〜DW,DWm+k〜DWtn…小領域
L1,L2…接地線
La,Lb…立体物が倒れ込む方向上の線
P…撮像画像
PB…鳥瞰視画像
PD…差分画像
MP…マスク画像
S…スミア
SP…スミア画像
SB…スミア鳥瞰視画像
V…自車両
VX…他車両

Claims (12)

  1. 車両後方の右側検出領域及び左側検出領域を含む領域を撮像する撮像手段と、
    前記撮像手段により取得された画像に基づいて、立体物を検出する立体物検出手段と、
    所定の基準を満たす高輝度領域を含む前記右側検出領域又は左側検出領域のうち一方の領域を第1検出領域として判断する高輝度領域判断手段と、
    前記第1検出領域においては前記立体物が検出されることを抑制し、前記右側検出領域又は左側検出領域のうち他方の領域である第2検出領域においては前記立体物が検出されることを維持又は促進する制御手段と、を備える立体物検出装置。
  2. 前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    前記立体物検出手段により検出された立体物が他車両であるか否かを判断する立体物判断手段と、をさらに備え、
    前記立体物検出手段は、前記画像変換手段により得られた異なる時刻の鳥瞰視画像の位置を鳥瞰視上で位置合わせし、当該位置合わせされた鳥瞰視画像の差分画像上において、前記鳥瞰視画像を視点変換した際に立体物が倒れ込む方向に沿って、前記差分画像上において輝度差が所定の差分を示す画素数をカウントして度数分布化することで差分波形情報を生成し、当該差分波形情報に基づいて立体物を検出し、
    前記制御手段は、検出された前記第1検出領域の画像情報に基づいて、前記立体物が検出され、又は当該立体物が前記他車両であると判断されることを抑制し、前記右側検出領域又は左側検出領域のうち前記第1検出領域以外の第2検出領域の画像情報に基づいて、前記立体物が検出され、又は当該立体物が前記他車両であると判断されることを維持又は促進することを特徴とする請求項1に記載の立体物検出装置。
  3. 前記撮像手段により得られた画像を鳥瞰視画像に視点変換する画像変換手段と、
    前記立体物検出手段により検出された立体物が他車両であるか否かを判断する立体物判断手段と、をさらに備え、
    前記立体物検出手段は、前記画像変換手段により得られた鳥瞰視画像において、鳥瞰視画像に視点変換した際に立体物が倒れ込む方向に沿って、互いに隣接する画像領域の輝度差が所定差分以上である画素を含むエッジ成分を検出し、当該エッジ成分から導出されたエッジ情報に基づいて立体物を検出し、
    前記制御手段は、検出された前記第1検出領域の画像情報に基づいて、前記立体物が検出され、又は当該立体物が前記他車両であると判断されることを抑制し、前記右側検出領域又は左側検出領域のうち前記第1検出領域以外の第2検出領域の画像情報に基づいて、前記立体物が検出され、又は当該立体物が前記他車両であると判断されることを維持又は促進することを特徴とする請求項1に記載の立体物検出装置。
  4. 前記高輝度領域判断手段は、前記右側検出領域又は左側検出領域のうち、所定輝度以上の画素が所定密度以上含まれる高輝度領域を含む検出領域を、第1検出領域として検出することを特徴とする請求項1〜3の何れか一項記載の立体物検出装置。
  5. 前記高輝度領域判断手段は、
    前記車両の走行方向と走行地点を当該車両側から取得し、
    前記車両の走行方向と太陽の存在方向との関係に、高輝度領域を含むと予測される第1検出領域の左右識別子を予め対応づけた対応関係を参照し、
    前記取得した走行地点と各地点における太陽の存在する方向を時刻に対応づけた暦情報とから求められた前記走行地点における太陽の存在方向と、前記検出された前記車両の前記走行地点における前記走行方向とに基づいて、前記右側検出領域又は左側検出領域のうち高輝度領域を含む第1検出領域を判断することを特徴とする請求項1〜4の何れか一項に記載の立体物検出装置。
  6. 前記対応関係は、前記立体物検出手段により立体物が検出されていない場合の第1対応関係と、前記立体物検出手段により立体物が検出されている場合の第2対応関係とを含み、
    前記高輝度領域判断手段は、前記立体物検出手段が立体物を検出していない旨の検出結果を取得した場合には、前記第1対応関係を参照し、前記立体物検出手段が立体物を検出した旨の検出結果を取得した場合には、前記第2対応関係を参照して、前記第1検出領域を判断することを特徴とする請求項5に記載の立体物検出装置。
  7. 前記高輝度領域判断手段は、前記車両の走行地点と走行時刻を検出し、各地点における太陽の高度を時刻に対応づけた暦情報を参照し、前記検出された前記車両の前記走行地点における太陽の存在する高度が所定高さ未満である場合には、前記対応関係を参照して高輝度領域を判断することを特徴とする請求項5又は6に記載の立体物検出装置。
  8. 前記立体物検出手段は、前記差分波形情報と第1閾値αとに基づいて立体物を検出し、
    前記制御手段は、前記高輝度領域判断手段により前記第1検出領域が判断された場合には、前記第1検出領域に対応する画像情報に基づく立体物検出処理を行う際の前記第1閾値αを前記立体物が検出され難いように高く変更し、前記第2検出領域に対応する画像情報に基づく立体物検出処理を行う際の前記第1閾値αを前記立体物が検出され易いように低く変更する又は同じ値に維持する制御命令を前記立体物検出手段に出力することを特徴とする請求項2又は請求項2を引用する請求項4〜7の何れか一項に記載の立体物検出装置。
  9. 前記制御手段は、前記高輝度領域判断手段により前記第1検出領域が判断された場合には、前記第1検出領域に対応する画像情報に基づく立体物検出処理において、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を低く変更して出力し、前記第2検出領域に対応する画像情報に基づく立体物検出処理において、前記鳥瞰視画像の差分画像上において所定の差分を示す画素数をカウントして度数分布化された値を高く変更して出力する又は同じ値で出力する制御命令を前記立体物検出手段に出力することを特徴とする請求項2又は請求項2を引用する請求項4〜7の何れか一項に記載の立体物検出装置。
  10. 前記立体物検出手段は、前記エッジ情報と第2閾値βとに基づいて立体物を検出し、
    前記制御手段は、前記高輝度領域判断手段により前記第1検出領域が判断された場合には、前記第1検出領域に対応する画像情報に基づく立体物検出処理を行う際の前記第2閾値βを前記立体物が検出され難いように高く変更し、前記第2検出領域に対応する画像情報に基づく立体物検出処理を行う際の前記第2閾値βを前記立体物が検出され易いように低く変更する又は同じ値に維持する制御命令を前記立体物検出手段に出力することを特徴とする請求項3又は請求項3を引用する請求項4〜7の何れか一項に記載の立体物検出装置。
  11. 前記制御手段は、前記高輝度領域判断手段により前記第1検出領域が判断された場合には、前記第1検出領域に対応する画像情報に基づく立体物検出処理において検出したエッジ情報の量を低く変更して出力し、前記第2検出領域に対応する画像情報に基づく立体物検出処理において検出したエッジ情報の量を高く出力する又は同じ値で出力する制御命令を前記立体物検出手段に出力することを特徴とする請求項3又は請求項3を引用する請求項4〜7の何れか一項に記載の立体物検出装置。
  12. 前記制御手段は、前記第1検出領域のうち前記高輝度領域に対応する画像情報に基づいて前記検出された立体物が前記他車両であると判断されることを抑制することを特徴とする請求項1〜11の何れか一項に記載の立体物検出装置。
JP2014526962A 2012-07-27 2013-07-24 立体物検出装置 Active JP5874831B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014526962A JP5874831B2 (ja) 2012-07-27 2013-07-24 立体物検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012166516 2012-07-27
JP2012166516 2012-07-27
PCT/JP2013/070010 WO2014017521A1 (ja) 2012-07-27 2013-07-24 立体物検出装置
JP2014526962A JP5874831B2 (ja) 2012-07-27 2013-07-24 立体物検出装置

Publications (2)

Publication Number Publication Date
JP5874831B2 true JP5874831B2 (ja) 2016-03-02
JPWO2014017521A1 JPWO2014017521A1 (ja) 2016-07-11

Family

ID=49997330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014526962A Active JP5874831B2 (ja) 2012-07-27 2013-07-24 立体物検出装置

Country Status (10)

Country Link
US (1) US9349059B2 (ja)
EP (1) EP2879115B1 (ja)
JP (1) JP5874831B2 (ja)
CN (1) CN104508728B (ja)
BR (1) BR112015001861B1 (ja)
IN (1) IN2015KN00339A (ja)
MX (1) MX341888B (ja)
MY (1) MY156198A (ja)
RU (1) RU2571367C1 (ja)
WO (1) WO2014017521A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법
CN107206901B (zh) * 2015-02-20 2019-06-14 Jvc 建伍株式会社 车辆用显示装置
JP6631796B2 (ja) * 2016-05-31 2020-01-15 パナソニックIpマネジメント株式会社 移動物体検出装置、プログラムおよび記録媒体
US10984555B2 (en) * 2017-03-30 2021-04-20 Mitsubishi Electric Corporation Object detection device and vehicle
JP6548312B2 (ja) * 2017-09-19 2019-07-24 株式会社Subaru 画像処理装置
CN110775049A (zh) * 2018-07-27 2020-02-11 上海汽车集团股份有限公司 一种泊车***及泊车控制方法
JP7327992B2 (ja) 2019-05-10 2023-08-16 フォルシアクラリオン・エレクトロニクス株式会社 立体物検出装置、及び立体物検出方法
CN114730526A (zh) * 2019-11-28 2022-07-08 三菱电机株式会社 物体识别装置、物体识别方法及物体识别程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058318A (ja) * 2005-08-22 2007-03-08 Toyota Motor Corp 白線検出装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2010256995A (ja) * 2009-04-21 2010-11-11 Daihatsu Motor Co Ltd 物体認識装置
JP2012003662A (ja) * 2010-06-21 2012-01-05 Nissan Motor Co Ltd 移動距離検出装置及び移動距離検出方法
JP2012138828A (ja) * 2010-12-27 2012-07-19 Toyota Motor Corp 画像提供装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
DE60139236D1 (de) * 2000-05-12 2009-08-27 Toyota Jidoshokki Kariya Kk Hilfe beim rückwärtsfahren einen fahrzeugs
RU2370817C2 (ru) * 2004-07-29 2009-10-20 Самсунг Электроникс Ко., Лтд. Система и способ отслеживания объекта
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8208022B2 (en) * 2008-06-05 2012-06-26 Lg Electronics Inc. Apparatus and method for removing blooming of camera image
RU2388010C1 (ru) * 2008-08-28 2010-04-27 Государственное унитарное предприятие "Конструкторское бюро приборостроения" Система сопровождения подвижных объектов
JP4876118B2 (ja) * 2008-12-08 2012-02-15 日立オートモティブシステムズ株式会社 立体物出現検知装置
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
EP2465092B1 (en) * 2009-09-03 2015-02-11 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법
JP5370413B2 (ja) * 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007058318A (ja) * 2005-08-22 2007-03-08 Toyota Motor Corp 白線検出装置
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2010256995A (ja) * 2009-04-21 2010-11-11 Daihatsu Motor Co Ltd 物体認識装置
JP2012003662A (ja) * 2010-06-21 2012-01-05 Nissan Motor Co Ltd 移動距離検出装置及び移動距離検出方法
JP2012138828A (ja) * 2010-12-27 2012-07-19 Toyota Motor Corp 画像提供装置

Also Published As

Publication number Publication date
JPWO2014017521A1 (ja) 2016-07-11
CN104508728B (zh) 2016-06-15
EP2879115A1 (en) 2015-06-03
CN104508728A (zh) 2015-04-08
US20150125031A1 (en) 2015-05-07
MX341888B (es) 2016-09-07
MY156198A (en) 2016-01-20
IN2015KN00339A (ja) 2015-07-10
BR112015001861B1 (pt) 2022-05-31
RU2571367C1 (ru) 2015-12-20
EP2879115B1 (en) 2018-09-05
BR112015001861A2 (ja) 2019-12-31
US9349059B2 (en) 2016-05-24
WO2014017521A1 (ja) 2014-01-30
MX2015001230A (es) 2015-04-10
EP2879115A4 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
JP5867596B2 (ja) 立体物検出装置及び立体物検出方法
JP5874831B2 (ja) 立体物検出装置
JP5981550B2 (ja) 立体物検出装置および立体物検出方法
JP5776795B2 (ja) 立体物検出装置
JP5804180B2 (ja) 立体物検出装置
JP5682735B2 (ja) 立体物検出装置
JP5743020B2 (ja) 立体物検出装置
JP5794378B2 (ja) 立体物検出装置及び立体物検出方法
JP5783319B2 (ja) 立体物検出装置及び立体物検出方法
JP5871069B2 (ja) 立体物検出装置及び立体物検出方法
JP5835459B2 (ja) 立体物検出装置
JP6003987B2 (ja) 立体物検出装置及び立体物検出方法
JP5999183B2 (ja) 立体物検出装置および立体物検出方法
JP5668891B2 (ja) 立体物検出装置
JP5768927B2 (ja) 立体物検出装置
JP5817913B2 (ja) 立体物検出装置及び立体物検出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R151 Written notification of patent or utility model registration

Ref document number: 5874831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151