JP4074577B2 - 車両検出方法及び車両検出装置 - Google Patents

Description

本発明は、自車に搭載したレーザレーダ、ミリ波レーダ等の前方探査レーダが受信した自車前方の各反射点のクラスタリング処理と、自車に搭載した画像センサの自車前方の撮影画像の画像処理とにより、走行中の自車の前方の車両を、センサフュージョンで認識して検出する車両検出方法及び車両検出装置に関する。

従来、ＡＳＶと呼ばれる先進安全自動車（Ａｄｖａｎｃｅｄ Ｓａｆｅｔｙ Ｖｅｈｉｃｌｅ）等の車両における追突可否判定等にあっては、自車の走行中に、何らかの手法で自車前方の追従すべき先行車等の車両（以下、前方車両両という）を認識して検出する必要がある。

そして、前方車両の認識を、自車に搭載したレーザレーダやミリ波レーダ等の前方探査レーダの受信した各反射点のクラスタリング処理の結果のみに基づいて行うと、つぎの（ｉ）、（ｉｉ）、（ｉｉｉ）のような不都合がある。

（ｉ）クラスタリング処理のエラーによって誤認識が生じる。

すなわち、レーザレーダやミリ波レーダの受信した各反射点の近いもの同士を、クラスタリング処理によってまとめ、前方車両のリフレクタ等のある程度の大きさのものについてのクラスタを形成する必要があるが、クラスタリング処理にエラーが発生しても、そのエラーを補償することができないため、容易に誤認識が生じる。

（ｉｉ）クラスタの解釈が困難で前方車両の誤認識が発生することがある。

すなわち、レーザレーダやミリ波レーダの反射点の受信結果だけを用いる場合、前記のクラスタリング処理で得られたクラスタが、前方車両のリフレクタのクラスタであるか、ガードレールのような障害物等のクラスタであるか等の判定（解釈）が容易でなく、この結果、前方車両の認識が困難になる。

（ｉｉｉ）クラスタの間隔のみからは前方車両の特徴量としての車幅の正確な計測が困難であり、その結果、前方車両の誤認識が発生する。

すなわち、前方車両の左右端のリフレクタのクラスタ間隔から、前方車両の特徴量（車両特徴量）としての車幅を計測し、この計測結果から前方車両を認識しようとしても、前方車両と自車とが接近して自車の近距離に前方車両が位置する場合や、複数台の前方車両が自車前方の等距離に存在する場合には、クラスタリング処理に基づくクラスタ間隔の正確な計測が困難になって車幅の正確な計測が行えなくなり、その結果、前方車両の誤認識が発生する。

そこで、これらの不都合を解消するため、自車に前方探査レーダだけでなく画像センサも搭載し、前方探査レーダが受信した各反射体のクラスタリング処理と、画像センサの自車前方の撮影画像の画像処理とにより、センサフュージョンで前方車を認識して検出することが提案されている。

そして、従来のセンサフュージョンの第１の車両検出方法は、画像センサの撮影結果から自車白線（自車走行レーンの白線）を検出し、前記のクラスタリング処理に基づいて形成された各クラスタのうちの前記白線の内側の自車走行レーン内に存在するクラスタのみを前方車両の有効なクラスタとして検出し、クラスタの誤解釈等の発生を防止して前方車両を認識し、検出する方法である（例えば、特許文献１参照。）。

また、従来のセンサフュージョンの第２の車両検出方法は、画像センサの撮影結果の画像テンプレートマッチング（パターンマッチング）の画像処理により、前方車両の特定物体のクラスタを検出し、クラスタリング処理のエラーによる誤認識や、クラスタの誤解釈の発生等を防止して、前方車両を認識し、検出する方法である（例えば、特許文献２参照。）。

さらに、センサフュージョンの第３の車両検出方法として、画像センサをステレオカメラで形成して自車前方をステレオ撮影し、このステレオ撮影に基づく画像処理から計測された障害物等までの距離と、同距離に位置するレーザレーダ、ミリ波レーダ等のレーダ探査結果の各クラスタとから、各クラスタの反射体を識別して前方車両を認識し、検出する方法も提案されている。
特開平７−１２０５５５号公報（段落番号[００１０]、［００４０］、図２） 特開平７−１８２４８４号公報（段落番号［００１７］、［００１９］、図１、図１４、図２０）

前記従来のセンサフュージョンの第１の車両検出方法の場合、画像センサの撮影結果から検出した自車白線内のクラスタを前方車両のクラスタとするが、自車白線は車両ではないため、自車白線内に前方車両が存在しないようなときには、前方車両の誤認識、誤検出が生じる問題がある。

また、前記従来のセンサフュージョンの第２の車両検出方法の場合、画像テンプレートマッチングによって画像センサの撮影結果から前方車両を検出するため、前記の自車白線を検出する場合のような誤認識は回避可能であるが、画像処理に複雑で時間のかかる多量の計算を要し、計算能力が高く、処理速度の速い高価なコンピュータ処理装置が必要になり、安価に検出できない問題がある。

さらに、センサフュージョンの前記第３の車両検出方法の場合、一般に、ステレオ撮影の画像処理による距離計測にあっては、中距離以遠で精度が低下することが知られており、そのため、距離計測の結果から前方車両を正確に特定して認識し、検出することは困難であり、実用的でなく、しかも、ステレオカメラは極めて高価であり、安価に前方車両を認識して検出することができない問題もある。

すなわち、従来のこの種のセンサフュージョンの車両検出では、計算量が少なく簡単な画像処理により、安価な構成で前方車両を正確に認識して検出することができない問題がある。

本発明は、画像処理の計算量が少なく簡単で安価な構成のセンサフュージョンにより、前方車両の車両特徴量を正確に検出し、この検出に基づいて前方車両を正確に認識して検出することを目的とし、さらには、画像センサを安価にして一層安価に形成することも目的とする。

上記した目的を達成するために、本発明の車両検出方法は、自車にレーザレーダ、ミリ波レーダ等の前方探査レーダ及び画像センサを搭載し、前記前方探査レーダが受信した反射点のクラスタリング処理と、前記画像センサの自車前方の撮影画像の画像処理とにより、センサフュージョンで自車前方の車両を認識して検出する車両検出方法であって、前記クラスタリング処理によって形成されたクラスタの位置、大きさ等のクラスタ状態から前記撮影画像のほぼ車両１台を囲む矩形領域を予測して候補領域に設定し、前記候補領域の垂直エッジ画像を形成し、横軸方向を前記垂直エッジ画像のエッジ位置のＸ座標方向、縦軸方向を車幅の半分の長さのＴ座標方向とする投票平面に、前記車幅の半分の予測長Ｔ＊を、Ｔｍｉｎ≦Ｔ＊≦Ｔｍａｘ、（Ｔｍｉｎ、Ｔｍａｘは設定した最小長、最大長）の範囲で変えながら、前記候補領域の左半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊右側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、前記候補領域の右半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊左側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、前記投票平面の投票結果がしきい値以上の単一のピーク値を含むときに、該ピーク値の座標（Ｘ、Ｔ）から前記自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出し、前記車両特徴量から前記自車前方の車両を認識して検出することを特徴としている（請求項１）。

また、本発明の車両検出方法は、設定した候補領域に複数台の車両が含まれて投票結果がしきい値以上の複数個のピーク値を含むときに、投票結果がしきい値以上の単一のピーク値を含むように、既設定の候補領域の部分領域からなる新たな候補領域を設定し、前記新たな候補領域の投票結果の前記しきい値以上の単一のピーク値の座標（Ｘ、Ｔ）から自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出することを特徴とし（請求項２）、画像センサが単眼カメラであることも特徴としている（請求項３）。

つぎに、本発明の車両検出装置は、自車に搭載したレーザレーダ、ミリ波レーダ等の前方探査レーダ及び画像センサと、前記前方探査レーダが受信した各反射点のクラスタリング処理及び前記画像センサの自車前方の撮影画像の画像処理により、センサフュージョンで自車前方の車両を認識して検出する認識処理部とを備えた車両検出装置であって、前記認識処理部に、前記クラスタリング処理によって形成されたクラスタの位置、大きさ等のクラスタ状態から前記撮影画像のほぼ車両１台を囲む矩形領域を予測して候補領域に設定する候補領域設定手段と、前記候補領域の垂直エッジ画像を形成する垂直エッジ画像形成手段と、横軸方向を前記垂直エッジ画像の各エッジ位置のＸ座標方向、縦軸方向を車幅の半分の長さのＴ座標方向とする投票平面に、前記車幅の半分の予測長Ｔ＊を、Ｔｍｉｎ≦Ｔ＊≦Ｔｍａｘ、（Ｔｍｉｎ、Ｔｍａｘは設定した最小長、最大長）の範囲で変えながら、前記候補領域の左半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊右側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、前記候補領域の右半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊左側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票する投票処理手段と、前記投票平面の投票結果にしきい値以上の単一のピーク値が含まれるときに、前記ピーク値の座標（Ｘ、Ｔ）から前記自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出する車両特徴量検出手段とを設け、前記車両特徴量から前記自車前方の車両を認識して検出するようにしたことを特徴としている（請求項４）。

また、本発明の車両検出装置は、設定した候補領域に複数台の車両が含まれて投票結果がしきい値以上の複数個のピーク値を含むときに、候補領域設定手段により、投票結果がしきい値以上の単一のピーク値を含むように、既設定の候補領域の部分領域からなる新たな候補領域を設定し、車両特徴量検出手段により、前記新たな候補領域の投票結果の前記しきい値以上の単一のピーク値の座標（Ｘ、Ｔ）から自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出するようにしたことを特徴とし（請求項５）、画像センサが単眼カメラであることも特徴としている（請求項６）。

まず、請求項１、４の構成によれば、クラスタリング処理結果のクラスタ状態から画像センサの撮影画像のほぼ車両１台を囲むと予測される矩形領域が候補領域に設定され、この候補領域に１台の前方車両が含まれていると、その領域の垂直エッジ画像は、左右に前方車両の左右端のリフレクタのエッジが存在し、この左右端のリフレクタのエッジは、撮影画像上で、前方車両の車幅方向（左右方向）の中央位置（以下、車両センタ位置という）から等距離はなれた対称位置に位置する。

そして、投票平面において、前方車両の車幅の１／２の予測長Ｔ＊をＴｍｉｎ≦Ｔ＊≦Ｔｍａｘに可変しつつ、候補領域の左半分の各エッジ位置についてはそれぞれ予測長Ｔ＊右側に移動した投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）に＋１を投票し、候補領域の右半分の各エッジ位置についてはそれぞれ予測長Ｔ＊左側に移動した投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）に＋１を投票することにより、横軸方向には前方車両の車幅方向の中央位置、縦軸方向には前方車両の車幅の１／２の座標（Ｘ、Ｔ）に投票が集中し、その座標（Ｘ、Ｔ）の投票結果がしきい値以上の単一のピーク値になる。

したがって、計算量が少なく簡単でノイズ等にロバストな投票方式により、投票結果がしきい値以上の単一のピーク値になる座標（Ｘ、Ｔ）の横軸方向の座標値から、前方車両の車両センタ位置を正確に検出することができ、その座標の縦軸方向の座標値から、その車幅を正確に検出することができる。

そして、検出した前方車両の車両センタ位置、車幅の少なくともいずれか一方に基づき、画像テンプレートマッチングのような計算量の多い複雑な画像処理を行うことなく、計算量が少なく、処理負担が少ない簡素で安価な構成により、前方車両を正確に認識して検出することができる。

つぎに、請求項２、５の構成によれば、候補領域に複数台の車両が含まれて投票結果が複数個のピーク値を含むときに、投票結果がしきい値以上の単一のピーク値が含むように、既設定の候補領域が分割され、ほぼ１台の車両を含む新たな候補領域が再設定され、この新たに設定された候補領域につき、前記の投票が行われることにより、投票平面での単一のピーク値の座標（Ｘ、Ｔ）から、前方車両の車両センタ位置、車幅の少なくともいずれか一方を正確に検出し、この検出結果に基づき、自車前方を複数台の車両走行するようなときにも、画像テンプレートマッチングのような計算量の多い複雑な画像処理を行うことなく、計算量が少なく、処理負担が少ない簡素で安価な構成により、前方車両を正確に認識して検出することができる。

つぎに、請求項３、６の構成によれば、画像センサをステレオカメラより安価な単眼カメラで形成することができ、一層安価かつ簡素な構成で前方車両を正確に認識して検出することができる。

つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図１０にしたがって詳述する。

図１は車両検出装置のブロック図、図２は図１の動作説明用のフローチャート、図３〜図９はそれぞれ投票処理の説明図、図１０は実車の検出例の説明図である。

＜構成＞
まず、図１の車両検出装置の構成について説明する。
この装置は、図１に示すように、先進安全自動車（ＡＳＶ）等の自車（車両）１の前部に、探査センサとしてのレーザレーダ２及び画像センサとしての２次元固体撮像素子（ＣＣＤ）構成の単眼カメラ３を搭載する。

そして、レーザレーダ２は、スキャン方式の場合、自車１の走行中に、自車前方の設定された範囲にレーザパルスを左から右その逆に位置を変えて出射することを０．１ｓ程度の周期で高速にくり返し、自車前方の追従すべき先行車等の前方車両の後部左右端のリフレクタやガードレールの反射板等の各反射体の反射パルスを受信し、受信結果を、マイクロコンピュータからなる認識処理用のＥＣＵ４にリアルタイムに送る。

また、単眼カメラ３は、自車前方をくり返し撮影し、例えばモノクロームの撮影画像のデジタルデータをＥＣＵ４にリアルタイムに送る。

そして、ＥＣＵ４及びメモリ５により、センサフュージョンで前方車両を認識して検出する認識処理部６が形成され、そのマイクロコンピュータが予め設定された図２の車両検出のステップＳ１〜Ｓ８の認識処理プログラムを実行することにより、認識処理部６がつぎの（ａ）〜（ｆ）の各手段を備える。

（ａ）クラスタリング処理手段
この手段は、レーザレーダ２が受信した各反射体の反射点を距離の近いもの同士集め、例えばリフレクタ等の反射体単位の塊（クラスタ）を形成する。

（ｂ）候補領域設定手段
この手段は、クラスタリング処理によって形成されたクラスタの位置、大きさ、数等のクラスタ状態から撮影画像のほぼ車両１台を囲む矩形領域を予測し、この矩形領域を後述の投票対象の候補領域に設定する。

具体的には、車両を背面から見ると、１〜数メートルの横幅のほほ矩形状になることから、例えば図３の（ａ）の単眼カメラ３の撮影範囲７ａの平面図に示すように、実際の長さでおおむね１メートルを超える横幅の大きな１個のクラスタ８ａが存在するクラスタ状態のときは、このクラスタ８ａの横幅（クラスタ幅）が前方車両９ａの横幅であるとして、そのクラスタ幅の範囲を囲む同図の（ｂ）の撮影画像１０ａの破線Ｌａの矩形領域を、ほぼ車両１台を囲む候補領域１１ａに予測して設定する。

また、図４の（ａ）の単眼カメラ３の撮影範囲７ｂの平面図に示すように、実際の長さで１メートルより十分に短い横幅の小さな複数個のクラスタ８ｂが密集して存在するクラスタ状態のときは、これらのクラスタ８ｂが１台の前方車両９ｂの左右のリフレクタ等の複数個の反射体のクラスタであるとして、ほぼそれらのクラスタ８ｂを結合して１個のクラスタとみなした場合のクラスタ幅の範囲を囲む同図の（ｂ）の撮影画像１０ｂの破線Ｌｂの矩形領域を、ほぼ車両１台を囲む候補領域１１ｂに予測して設定する。

さらに、図５の（ａ）の単眼カメラ３の撮影範囲７ｃの平面図に示すように、実際の長さで１メートル以下の短い横幅の複数個のクラスタ８ｃが１メートル前後の一定以上の間隔で散在するクラスタ状態のときは、これらのクラスタ８ｃが１台の前方車両のものか、例えば２台の四輪車又は四輪車と二輪車のような画像上で並走状態の複数台の前方車両のものか、直ちには判別困難である。

そこで、この実施形態の場合、候補領域設定手段は、最初に予測して設定した候補領域に複数台の車両が含まれているときには、投票結果にしきい値以上の単一のピーク値が含まれるように、既設定の候補領域の部分領域からなる新たな候補領域を設定する。

そして、複数個のクラスタ８ｃが散在するクラスタ状態のときは、クラスタ間隔が１メートル以上になるクラスタの組み合わせをそれぞれ１台の前方車両のものと仮定し、例えば図５の（ｂ）の撮影画像１０ｃの破線Ｌｃ１の矩形領域、この領域の部分領域である破線Ｌｃ２、Ｌｃ３の矩形領域を、それぞれ車両１台を囲む候補領域１１ｃ１、１１ｃ２、１１ｃ３に予測して設定する。なお、実際の撮影画像に対する各候補領域１１ｃ１、１１ｃ２、１１ｃ３の設定は、例えば図６に示すようになる。

このとき、候補領域１１ｃ１が１台の前方車両を囲む領域であるか、候補領域１１ｃ２、１１ｃ３がそれぞれ１台の前方車両を囲む領域であるかが問題となる。

そして、図５の場合、２台の前方車両９ｃ１、９ｃ２を囲む候補領域１１ｃ１の投票結果が複数個のピーク値を有し、１台の前方車両９ｃ１を囲む候補領域１１ｃ２、１台の前方車両９ｃ２を囲む候補領域１１ｃ３それぞれの投票結果が単一のピーク値を有することから、候補領域１１ｃ２、１１ｃ３がそれぞれ１台の前方車両を囲む領域であることがわかる。

（ｃ）垂直エッジ画像形成手段
この手段は、撮影画像の候補領域の輝度の垂直方向の微分変化から、前記の候補領域の垂直のエッジを検出し、検出した各エッジの画像（垂直エッジ画像）を形成する。

（ｄ）投票処理手段
この手段は、候補領域の垂直エッジ画像につき、横軸方向を垂直エッジ画像の各エッジ（垂直エッジ）位置のＸ座標方向、縦軸方向を車幅の半分の長さのＴ座標方向とする図３、図４の（ｂ）の投票平面１２ａ、１２ｂのような投票平面を設定し、前方車両の車幅の半分の予測長Ｔ＊の最小長Ｔｍｉｎ、最大長Ｔｍａｘの設定に基づき、予測長Ｔ＊を、Ｔｍｉｎ≦Ｔ＊≦Ｔｍａｘの範囲で変えながら、投票平面に投票する。

この投票は、候補領域の左半分の各エッジ位置についてはそれぞれの横軸方向の位置を予測長Ｔ＊右側に移動した投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標値）に＋１を投票し、候補領域の右半分の各エッジ位置についてはそれぞれの横軸方向の位置を予測長Ｔ＊左側に移動した投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標値）に＋１を投票するものである。

（ｅ）車両特徴量検出手段
この手段は、投票平面の投票結果にしきい値以上の単一のピーク値が含まれるときに、そのピーク値の座標から、画像上での前方車両の車幅方向の中央位置（センター位置）、車幅の少なくともいずれか一方を、その前方車両の車両特徴量として検出する。

なお、この実施形態の場合、この車両特徴量検出手段は、前記の新たな候補領域の投票結果にしきい値以上の単一のピーク値が含まれるときには、その単一のピーク値の座標から自車前方の車両の車両センタ位置、車幅の少なくともいずれか一方を車両特徴量として検出する。

（ｆ）車両認識手段
この手段は、車両特徴量検出手段によって検出された車両特徴量及び、例えば、レーザレーダ２の送受信時間差から計測された自車と前方車両との測距距離に基づき、実際の前方車両の位置、車幅又はその両方から前方車両を認識して検出する。

そして、この検出の結果が、認識処理部６のＥＣＵ４から自車１の衝突可能性の有無を判定する衝突判定処理のＥＣＵに送られ、このＥＣＵが先行車等との衝突の可能性を判定し、衝突回避に必要な走行、操舵の制御を行う。

＜動作＞
つぎに、前記の構成に基づく前方車両の認識・検出の動作について、図２のフローチャート等を参照して説明する。

まず、自車１の走行中はレーザレータ２の前方探査及び単眼カメラ３の前方撮影がくり返し行われる。

そして、ステップＳ１のクラスタリング処理により、前記のクラスタリング処理手段が動作し、レーザレーダ２が受信した各反射体の反射点について、例えば反射体単位の塊（クラスタ）を形成する。

また、ステップＳ２の候補領域設定により、前記のクラスタリング処理結果のクラスタ状態に基づいて、候補領域設定手段が撮影画像のほぼ車両１台を囲む矩形領域を予測し、この矩形領域を後述の投票対象の候補領域に設定する。

さらに、ステップＳ３の垂直エッジ画像の形成により、垂直エッジ画像形成手段が前記したように候補領域の垂直エッジを検出し、検出した各エッジの垂直エッジ画像を形成する。

そして、ステップＳ４の投票処理により、投票処理手段が前記の投票平面に投票する。

この投票は、直線以外の任意形状について、投票結果のピーク値（最大値）をもって「全体」の最適な特徴量とする、周知のいわゆる一般化ハフ（Ｈｏｕｇｈ）変換の手法をベースにしたもであり、前方車両（四輪車両）が「おおよそ左右対称でおおよそ四角形」であると近似でき、「車両１台をだいたい囲むように候補領域を設定した場合、投票平面に、しきい値以上の正規化されたピーク値が１個だけ出現する」ことから、つぎのようにして行う。

まず、図３、図４の（ａ）、（ｂ）に示したように、撮影画像１０ａ、１０ｂの前方車両９ａ、９ｂを囲む１個の候補領域１１ａ、１１ｂが設定された場合、例えば図３の（ｂ）の候補領域１１ａ、投票平面１２ａを拡大した図７に示すように、投票平面１２ａは、横軸方向が候補領域１１ａの垂直エッジ画像の各エッジ（垂直エッジ）位置のＸ座標方向、縦軸方向が前方車両９ａの車幅の半分の長さのＴ座標方向である。

そして、撮影画像１０ａ上で、前方車両９ａの車幅がＷ、その半分Ｗ／２の車両センタ位置がＸｃ、候補領域１１ａの横幅がω（≒Ｗ）、その半分ω／２の領域センタ位置がＸｃｃである場合、実験等によると、車幅Ｗの半分Ｗ／２が候補領域１１ａの横幅ωの（１／４）〜（３／４）の範囲内の長さになることから、投票平面１２ａの縦軸方向のω／４の位置を車幅の半分の予測長Ｔ＊の最小長Ｔｍｉｎ、投票平面の縦軸方向の（３ω／４）の位置を車幅の半分の予測長Ｔ＊の最大長Ｔｍａｘの位置に設定する。

さらに、予測長Ｔ＊を最小長Ｔｍｉｎ〜最大長Ｔｍａｘの範囲で、あらかじめ設定した単位長ΔＴずつ可変しながら、領域センタ位置Ｘｃｃより左側の各エッジ位置については、その位置の座標Ｘより予測長Ｔ＊右側に移動した座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）に＋１を投票し、領域センタ位置Ｘｃｃより右側の各エッジ位置については、その位置の座標Ｘより予測長Ｔ＊左側に移動した座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）に＋１を投票する。

具体的には、まず、予測長Ｔ＊を最小長Ｔｍｉｎに設定した状態で、右側の各エッジについて座標（Ｘｋ＋Ｔ＊、Ｔ＊）に＋１を投票し、左側の各エッジについて（Ｘｋ−Ｔ＊、Ｔ＊）に＋１投票し、つぎに、予測長Ｔ＊を最小長Ｔｍｉｎより単位長ΔＴ長いＴｍｉｎ＋ΔＴに変更し、この状態で、右側の各エッジについて座標（Ｘｋ＋Ｔ＊、Ｔ＊）に＋１を投票し、左側の各エッジについて（Ｘｋ−Ｔ＊、Ｔ＊）に＋１投票し、以降、予測長Ｔ＊が最大長Ｔｍａｘになるまで、予測長Ｔ＊を単位長ΔＴずつ可変して同様の投票をくり返す。

このとき、前方車両９ａの左右端のリフレクタ等の左右対称位置の垂直エッジは、車両センタ位置Ｘｃから左右対称に車幅Ｗの半分Ｗ／２だけ離れた位置に発生し、領域センタ位置Ｘｃｃより左側の左半分のエッジ位置から右側にＷ／２移動した投票位置と、領域センタ位置Ｘｃｃより右側の右半分のエッジ位置から左側にＷ／２移動した投票位置は、ほとんどが、予測長Ｔ＊の変化にしたがって、ほぼ図７の実線ｉ、ｉｉの線上を変化する。

なお、実線ｉが領域センタ位置Ｘｃｃより左側のエッジからの投票位置を示し、実線ｉｉが領域センタ位置Ｘｃｃより右側のエッジからの投票位置を示す。

そして、予測長Ｔ＊がＷ／２のときに、左右のエッジのＸ軸方向の投票位置がともに車両センタ位置Ｘｃになることから、図７の投票平面１２ａにおいて、実線ｉ、ｉｉの交点である●印の座標（Ｘｃ、Ｗ／２）の投票値がピーク値（極大値）になる。

したがって、候補領域１１ａ、１１ｂがほぼ車両１台を囲むように設定された図３、図４の（ｂ）の投票平面１２ａ、１２ｂにおいては、それぞれの●印の座標（Ｘｃ、Ｗ／２）のみで投票値がピーク値になり、投票結果が座標（Ｘｃ、Ｗ／２）の位置に単一のピーク値を有する。

一方、図５の（ｂ）の２台の前方車両９ｃ１、９ｃ２を囲む候補領域１１ｃ１を最初に設定すると、前記と同様の投票を行うことにより、図８に示すように、その投票平面１２ｃ１の●印の複数の座標（Ｘ、Ｔ）で投票値がピーク値になる。

この場合、投票処理手段は、投票結果が複数のピーク値を含むことから、候補領域１１ｃ１が複数台の前方車両９ｃ１、９ｃ２を囲む領域であることを認識し、この認識に基づき、図２のステップＳ４からステップＳ５、Ｓ６を介してステップＳ７に移行し、候補領域１１ｃ１の部分領域である図５の（ｂ）の新たな候補領域１１ｃ２、１１ｃ３を設定した後、ステップＳ４に戻り、候補領域１１ｃ２、１１ｃ３それぞれについて投票を行う。

この投票により、図９の（ａ）、（ｂ）に示すように、候補領域１１ｃ２、１１ｃ３それぞれの投票平面１２ｃ２、１２ｃ３の●印の単一の座標（Ｘｃ、Ｗ／２）で投票値がピーク値になると、投票処理手段は、候補領域１１ｃ２、１１ｃ３がそれぞれ車両１台を囲む領域であることを認識する。

なお、候補領域１１ｃ２、１１ｃ３が複数台の前方車両を含み、それらの投票結果が複数個のピーク値を含むときは、投票処理手段が、候補領域１１ｃ２、１１ｃ３それぞれにつき、部分領域からなる、さらに新たな候補領域を設定し、投票結果が単一のピーク値を含むようになるまで、ステップＳ４からステップＳ５、Ｓ６、Ｓ７を介してステップＳ４に戻るループ処理により、候補領域を分割して設定することをくり返す。

ところで、この実施形態においては、投票結果のピーク値を客観的に検出するため、図２のステップＳ５により、つぎに説明するようにピーク値の規格化処理を行い、投票結果のピーク値を規格化して評価する。

すなわち、図３、図４の（ｂ）のように、候補領域１１ａ、１１ｂが１台の前方車両９ａ、９ｂを囲む場合、その前方車両９ａ、９ｂの画像上の高さをＨｖとすると、投票平面１２ａ、１２ｂの座標（Ｘｃ、Ｗ／２）のピーク値（以下、投票ピーク値という）が、計算上は、２×Ｈｖになることから、投票ピーク値を２Ｈｖで除算したものを規格化したピーク値（以下、規格化ピーク値という）とし、投票処理手段は、この規格化ピーク値を求める。

そして、規格化ピーク値が１に近くなる程、候補領域の設定が正しいことになるため、投票処理手段は、規格化ピーク値から、候補領域の設定の正誤（良否）を判断し、この判断によって候補領域の設定を確定する。

具体的には、投票結果が単一の規格化ピーク値を含み、かつ、その値が実験等によって設定した０．７程度のしきい値以上であれば、投票処理手段は、候補領域の設定が正しいと判断して確定する。

このとき、図４の（ａ）のように、候補領域に複数個のクラスタが含まれていると、その左右端のクラスタが前方車両の左右のリフレクタのクラスタとして認識される。

なお、投票結果が単一の規格化ピーク値を含むが、その値がしきい値より小さければ、投票処理手段は、例えば、段階的に候補領域の大きさを変えて投票をくり返す。

また、図５の（ｂ）のように、１つの候補領域１１ｃ１の設定と、この領域１１ｃ１の部分領域である２つの候補領域１１ｃ２、１１ｃ３の設定とが行えようなときは、候補領域１１ｃ１〜１１ｃ３の規格化ピーク値の個数と値とから、領域設定の正誤を判断する。

すなわち、候補領域１１ｃ１〜１１ｃ３の高さをＨ１、Ｈ２、Ｈ３とし、例えば、候補領域１１ｃ１〜１１ｃ３の左右の垂直エッジの位置分布等から検出される前方車両９ｃ１、９ｃ２の高さをＨｖ１、Ｈｖ２とすると、候補領域１１ｃ１については、規格化ピーク値の個数は３、ピーク毎の値は（Ｈｖ１＋Ｈｖ２）／（２×Ｈ１）、（２×Ｈｖ１）／（２×Ｈ１）、（２×Ｈｖ２）／（２×Ｈ１）であり、候補領域１１ｃ２については、規格化ピーク値の個数は１、値は（２×Ｈｖ１）／（２×Ｈ２）であり、候補領域１１ｃ３については、規格化ピーク値の個数は１、値は（２×Ｈｖ２）／（２×Ｈ３）である。

そして、Ｈ１＞Ｈ２、Ｈ１＞Ｈ３であるため、候補領域１１ｃ２、１１ｃ３のピーク値が候補領域１１ｃ１の各ピーク値より大きく、しかも、候補領域１１ｃ２、１１ｃ３が単一のピーク値を含むことから、候補領域１１ｃ２、１１ｃ３の組み合わせが正しい領域設定であると判断する。

つぎに、図２のステップＳ８により、車両特徴量検出手段が単一のピーク値の座標Ｘｃ、Ｗ／２）から、前方車両の車両センタ位置Ｘｃ、横幅Ｗの少なくともいずれか一方を車両特徴量として検出し、この特徴量と、レーザレーダ２の送受信の時間差から検出した自車と前方車両との測距距離とに基づき、前方車両の実際の位置、車幅又はその両方を認識して検出し、この検出結果を衝突判定処理のＥＣＵに送る。

以上の処理の繰り返しにより、画像テンプレートマッチングのような計算量の多い複雑な画像処理を行うことなく、単純で計算量が少なく、安価かつ簡素な構成で、ノイズやピッチング振動等にロバストな一般化ハフ変換の投票方式の画像処理を行って、レーザレーダ２の探査のクラスタリング処理結果と単眼カメラ３の撮像結果とのセンサフュージョンで、自車１の走行中に、時々刻々の自車１の前方車両の車幅方向の中央位置（車両センタ位置）、車幅の少なくともいずれか一方を正確に検出し、前方車両を正確に認識して検出することがでる。

そして、投票結果が単一のピーク値を含むように候補領域を設定したため、前方車両のクラスタが複数個になっても、それらのクラスタを、誤りなく１台の前方車両のクラスタと解釈し、センサフュージョンで正確に前方車両を検出することができる。

また、単眼カメラ３の撮影画像に、自車１の前方車両として、複数台の車両が含まれるようなときにも、候補領域を、投票結果が単一のピーク値を含み、ほぼ車両１台を囲む大きさに設定することにより、２台の車両の結合したクラスタの分離等も行え、各候補領域の投票結果から、各前方車両の車両センタ位置、車幅の少なくともいずれか一方を正確に検出し、各前方車両を正確に認識して検出することがでる。

さらに、投票結果のピーク値を規格化したことにより、ピーク値の客観的で正確な評価が行え、検出精度が一層向上する利点がある。

その上、画像センサをステレオカメラより安価な単眼カメラ２により形成したため、一層安価に形成できる利点もある。

そして、この車両検出結果に基づき、安定した正確な車両認識や衝突有無の判断等が行え、先進安全自動車（ＡＳＶ）等の信頼性を向上し、交通安全に寄与することができる。

なお、実際の車両にこの車両検出装置を搭載して実験したところ、図１０の結果が得られた。同図において、１０ｚは撮影画像。１１ｚは撮影画像１０ｚの２本の白線ｚで区切られた候補領域、１２ｚはその投票平面であり、この投票平面１２ｚの中央部のもっとも白い部分がピーク値の部分である。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、画像センサは単眼カメラ２に限られるものでなく、モノクローム、カラーの種々のカメラであってもよく、前方探査レーダがミリ波レーダ、超音波レーダ等であってもよいのは勿論である。

また、投票結果のピーク値は規格化しなくてもよく、そのしきい値は実験棟に基づいて適当に設定すればよい。

ところで、自車１の装備部品数を少なくするため、図１のレーザレーダ２、単眼カメラ３等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

一実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図１の投票処理の一例の説明図である。 図１の投票処理の他の例の説明図である。 図１の投票処理のさらに他の例の説明図である。 図５の各候補領域の撮影画像上での設定位置の説明図である。 図３の投票処理の一部の拡大した説明図である。 図５の候補領域１１ａの投票処理の説明図である。 図５の候補領域１１ｂ、１１ｃの投票処理の説明図である。 実車での投票処理の１例の説明図である。

符号の説明

１ 自車
２ レーザレーダ
３ 単眼カメラ
６ 認識処理部

Claims (6)

1. 自車にレーザレーダ、ミリ波レーダ等の前方探査レーダ及び画像センサを搭載し、
   前記前方探査レーダが受信した反射点のクラスタリング処理と、前記画像センサの自車前方の撮影画像の画像処理とにより、センサフュージョンで自車前方の車両を認識して検出する車両検出方法であって、
   前記クラスタリング処理によって形成されたクラスタの位置、大きさ等のクラスタ状態から前記撮影画像のほぼ車両１台を囲む矩形領域を予測して候補領域に設定し、
   前記候補領域の垂直エッジ画像を形成し、
   横軸方向を前記垂直エッジ画像のエッジ位置のＸ座標方向、縦軸方向を車幅の半分の長さのＴ座標方向とする投票平面に、前記車幅の半分の予測長Ｔ＊を、Ｔｍｉｎ≦Ｔ＊≦Ｔｍａｘ、（Ｔｍｉｎ、Ｔｍａｘは設定した最小長、最大長）の範囲で変えながら、前記候補領域の左半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊右側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、前記候補領域の右半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊左側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、
   前記投票平面の投票結果がしきい値以上の単一のピーク値を含むときに、該ピーク値の座標（Ｘ、Ｔ）から前記自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出し、
   前記車両特徴量から前記自車前方の車両を認識して検出することを特徴とする車両検出方法。
2. 設定した候補領域に複数台の車両が含まれて投票結果がしきい値以上の複数個のピーク値を含むときに、投票結果がしきい値以上の単一のピーク値を含むように、既設定の候補領域の部分領域からなる新たな候補領域を設定し、
   前記新たな候補領域の投票結果の前記しきい値以上の単一のピーク値の座標（Ｘ、Ｔ）から自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出することを特徴とする請求項１に記載の車両検出方法。
3. 画像センサが単眼カメラであることを特徴とする請求項１また２に記載の車両検出方法。
4. 自車に搭載したレーザレーダ、ミリ波レーダ等の前方探査レーダ及び画像センサと、
   前記前方探査レーダが受信した各反射点のクラスタリング処理及び前記画像センサの自車前方の撮影画像の画像処理により、センサフュージョンで自車前方の車両を認識して検出する認識処理部とを備えた車両検出装置であって、
   前記認識処理部に、
   前記クラスタリング処理によって形成されたクラスタの位置、大きさ等のクラスタ状態から前記撮影画像のほぼ車両１台を囲む矩形領域を予測して候補領域に設定する候補領域設定手段と、
   前記候補領域の垂直エッジ画像を形成する垂直エッジ画像形成手段と、
   横軸方向を前記垂直エッジ画像の各エッジ位置のＸ座標方向、縦軸方向を車幅の半分の長さのＴ座標方向とする投票平面に、前記車幅の半分の予測長Ｔ＊を、Ｔｍｉｎ≦Ｔ＊≦Ｔｍａｘ、（Ｔｍｉｎ、Ｔｍａｘは設定した最小長、最大長）の範囲で変えながら、前記候補領域の左半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊右側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ＋Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票し、前記候補領域の右半分の各エッジ位置についてはそれぞれ前記予測長Ｔ＊左側に移動した前記投票平面の座標（Ｘ、Ｔ）＝（Ｘｋ−Ｔ＊、Ｔ＊）、（Ｘｋはエッジ位置のＸ座標）に＋１を投票する投票処理手段と、
   前記投票平面の投票結果にしきい値以上の単一のピーク値が含まれるときに、前記ピーク値の座標（Ｘ、Ｔ）から前記自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出する車両特徴量検出手段とを設け、
   前記車両特徴量から前記自車前方の車両を認識して検出するようにしたことを特徴とする車両検出装置。
5. 設定した候補領域に複数台の車両が含まれて投票結果がしきい値以上の複数個のピーク値を含むときに、候補領域設定手段により、投票結果がしきい値以上の単一のピーク値を含むように、既設定の候補領域の部分領域からなる新たな候補領域を設定し、
   車両特徴量検出手段により、前記新たな候補領域の投票結果の前記しきい値以上の単一のピーク値の座標（Ｘ、Ｔ）から自車前方の車両の車幅方向の中央位置、車幅の少なくともいずれか一方を車両特徴量として検出するようにしたことを特徴とする請求項４に記載の車両検出装置。
6. 画像センサが単眼カメラであることを特徴とする請求項４または５に記載の車両検出装置。

Images