JP4070437B2 - 前方車両認識装置及び認識方法 - Google Patents
前方車両認識装置及び認識方法 Download PDFInfo
- Publication number
- JP4070437B2 JP4070437B2 JP2001290760A JP2001290760A JP4070437B2 JP 4070437 B2 JP4070437 B2 JP 4070437B2 JP 2001290760 A JP2001290760 A JP 2001290760A JP 2001290760 A JP2001290760 A JP 2001290760A JP 4070437 B2 JP4070437 B2 JP 4070437B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vector
- dictionary
- fusion
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
この発明は、自車の前方を走行する車両を認識する前方車両認識装置及び認識方法に関する。
【0002】
【従来の技術】
近年、例えば高速道路における追従走行機能や操舵アシスト機能といった、より高度でより快適な運転支援システムを搭載した車両が提案され、そのひとつにスキャンレーザレーダを用いて自車前方の車両を認識する認識装置がある。
【0003】
この種スキャンレーザレーダを用いた従来の認識装置では、レーザ光を照射してから反射光を観測するまでの時間を計測することで、反射点までの距離を検出でき、スキャニング機構を設けることにより、10数゜の水平視野を確保し、近距離及び中距離の車両であれば、図11(a)及び(b)に示すように、車両後端面の両端に装備されているリフレクタ(反射板)のほかボディからの反射が多数観測され、反射点の数は3点以上の多数に及ぶ一方、遠距離の車両であれば、同図(c)に示すように、車両後端面のリフレクタからの反射が2点観測されるにとどまる。
【0004】
ところが、この場合、車体の同じ部位から一定して反射があるわけではなく、車両の向き、形状、位置関係等で時々刻々反射位置が変化し、分布も一様ではない。
【0005】
そこで、得られた反射点群に対してファジィ手法等によるクラスタリングをすることで先行車両を認識する手法が提案されている。その具体例として、自動車技術会学術講演会前刷集931,No.9301719,pp53−56(1993−5)(「レーザレーダによる先行車認識アルゴリズム開発」)に記載の手法、或いは、本件出願人の出願にかかる特開平6−309600号公報に記載の手法等がある。
【0006】
例えば、自車と車両候補点群との距離の変化から自車に対する車両候補点群の相対速度を導出し、導出した相対速度が所定値よりも大きいときには、自車速度と先行車両候補の相対速度との差、自車に対する先行車両候補の車幅方向の位置ずれ量などの関数である適合度関数を用いて先行車両であることの確かさを表わす確信度を演算すると共に、レーザ光の走査方向及び自車の進行方向を座標軸とする座標系における車両候補点群の座標と相対速度を算出するごとに確信度の演算を繰り返し、確信度と基準値との差を累積加算してその加算合計値が他の基準値より大きいか否かを判断し、小さいときにその車両候補点群が同一レーン上を走行中と判断し、大きいときに同一レーン上にないと判断するものである。
【0007】
【発明が解決しようとする課題】
しかし、これら従来の手法は、高速道路のように車両どうしの間隔や車両と路側構造物との間隔が広い場合にはほとんど問題はないが、これを一般道路に拡張しようとすると次のような課題が生じる。つまり、
第1の課題として、前方車両の近傍の走行車両または駐停車車両や路側物からの反射を、前方車両からの反射に含めて処理してしまい、前方車両の距離計測値に誤差が生じる、
第2の課題として、車両が存在しないときに、ガードレールの反射板や看板等の路側構造物からの反射も観測され、これらを駐停車車両や前方車両として誤認識することがある、
第3の課題として、一般的にレーダの水平検知視野は狭いため、近距離での割り込み車両等の検出が遅れる、
という課題がある。
【0008】
更に、レーザレーダの場合、路面の水を前方車両がはね上げることでレーザ光が減衰し、前方車両を認識できなくなったり、隣接車線を走行する前方車両を観測車と同じ車線を走行する車両と判定したりするが、これらはレーザレーダ特有の課題や、その他の非常に高度な認識処理を要する課題であって、今回、本発明が解決しようとする課題ではない。
【0009】
一方、従来、画像センサによる撮像画像を処理して車両認識する装置も提案されており、画像センサの場合、パターン認識能力は上記したレーザレーダよりも優れている。この種の装置では、例えば図12に示すように、画像センサによる撮像画像に横長の注視領域を設定し、その注視領域における各画素の濃淡からX方向(水平方向)へのエッジヒストグラムEHx、これに直交するY方向(垂直方向)へのエッジヒストグラムEHy、及び両方向へのエッジヒストグラムの積EHxyを演算し、車両候補領域を抽出することが提案されている。
【0010】
しかしながら、画像センサの場合、複雑なシーンでは次のような課題がある。つまり、距離計測は先行車幅等、いくつかの仮定を設定することで近似計測できるだけで、カルマンフィルタ等の位置予測アルゴリズムに適用した場合に、予測値が安定しにくい。また、遠距離ではパターン認識力を十分に発揮することができず、至近距離では大きな車両の場合に全部を撮影できず、車両認識が困難になることがある。更に、複雑なシーンでは車両以外が作るエッジを車両と誤認識する場合があり、一時的な陰や曇りなどで見かけ画像が変化した場合には、車両認識が困難になることが多い。
【0011】
そこで、本発明は、レーザレーダを用いた車両認識と、画像センサによる車両認識との融合により、前方車両以外の車両や路側物等からの反射を排除して、精度の高い認識を行うことができるようにすることを目的とする。
【0012】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる前方車両認識装置は、自車の前方を走行する車両を認識する前方車両認識装置において、自車前方を撮像する画像センサと、前記画像センサによる撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する画像処理部と、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定するレーザレーダと、予め準備した各種のサンプル用車両のサンプル画像について前記画像処理部により導出された前記エッジヒストグラムのパターンと、前記各サンプル用車両について前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンを格納した格納部と、前記画像処理部により実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法の適用により次元圧縮して成る融合パターンが、前記格納部に格納されている前記各辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合部とを備えていることを特徴としている。
【0013】
このような構成によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【0014】
また、本発明にかかる前方車両認識装置は、前記画像処理部が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のX方向へのエッジヒストグラム、これに直交する画面のY方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出し、前記照合部が、前記画像処理部により前記車両候補領域において導出される前記X方向及びY方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したX方向ベクトル及びY方向ベクトルを前記照合パターンとして作成する第1の作成部と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する第2の作成部と、前記車両候補領域における前記X方向ベクトル、Y方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成するフュージョン部とを備えていることを特徴としている。
【0015】
このような構成によれば、画像処理により得られる照合パターンとしてのX方向ベクトル及びY方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【0016】
また、本発明にかかる前方車両認識装置は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して前記画像処理部により導出された前記X方向及びY方向へのエッジヒストグラムに基づき、前記第1の作成部によりサイズを縮小して作成される辞書用X方向及びY方向ベクトルと、前記サンプル用車両に対し前記レーザレーダにより特定された前記各反射点について、前記第2の作成部によりサイズを縮小して作成される辞書用レーザベクトルとが、前記フュージョン部により融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合部が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断することを特徴としている。
【0017】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【0018】
また、本発明にかかる前方車両認識装置は、前記照合部により前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして前記格納部に登録することを特徴としている。
【0019】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【0020】
また、本発明にかかる前方車両認識装置は、前記照合部が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用することを特徴としている。
【0021】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【0022】
また、本発明にかかる前方車両認識方法は、画像センサにより、撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する導出工程と、レーザレーダにより、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定する特定工程と、実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法により次元圧縮した融合パターンが、予め準備した各種のサンプル用車両について、そのサンプル画像から導出された前記エッジヒストグラムのパターンと、前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合工程とを含むことを特徴としている。
【0023】
このような構成によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【0024】
また、本発明にかかる前方車両認識方法は、前記導出工程が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のX方向へのエッジヒストグラム、これに直交する画面のY方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出する工程を含み、前記照合工程が、前記車両候補領域において導出される前記X方向及びY方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したX方向ベクトル及びY方向ベクトルを前記照合パターンとして作成する工程と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する工程と、前記車両候補領域における前記X方向ベクトル、Y方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成する工程とを含むことを特徴としている。
【0025】
このような構成によれば、画像処理により得られる照合パターンとしてのX方向ベクトル及びY方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【0026】
また、本発明にかかる前方車両認識方法は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して、導出された前記X方向及びY方向へのエッジヒストグラムに基づき、サイズを縮小して作成される辞書用X方向及びY方向ベクトルと、前記サンプル用車両に対して、前記レーザレーダにより特定された前記各反射点についてサイズを縮小して作成される辞書用レーザベクトルとが融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合工程が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する工程を含むことを特徴としている。
【0027】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【0028】
また、本発明にかかる前方車両認識方法は、前記照合工程により、前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして登録する工程を含むことを特徴としている。
【0029】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【0030】
また、本発明にかかる前方車両認識方法は、前記照合工程が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用する工程を含むことを特徴としている。
【0031】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【0032】
【発明の実施の形態】
この発明の一実施形態について図1ないし図10を参照して説明する。但し、図1はブロック図、図2ないし図10は動作説明図である。
【0033】
図1に示すように、スキャンレーザレーダ、そのスキャニング機構及び受光器から成るレーザレーダモジュール1、及び、画像センサである単眼CCDカメラから成る画像処理部としてのカメラモジュール2が自車に搭載され、レーザレーダモジュール1により、自車前方にレーザ光が水平方向にスキャンされつつ照射され、反射点からの反射光が受光されて複数個の反射点の位置が特定され、カメラモジュール2により自車の前方が撮像される。また、RAM等から成る格納部としてのメモリ4には、後で詳述する辞書パターンとしての辞書フュージョンベクトルが格納されている。
【0034】
更に、レーザレーダモジュール1により特定された反射点データ、及び、カメラモジュール2により得られた撮像画像がCPU3によりRAM等から成る図1には示されていない他のメモリに保存される。このとき、レーザレーダモジュール1によるデータと、カメラモジュール2によるデータを、メモリ4の辞書フュージョンベクトルの格納エリアとは異なるエリアに保存するようにしてもよい。
【0035】
ところで、レーザレーダモジュール1及びカメラモジュール2の座標系の関係は、例えば図2に示すように設定する。つまり、図2に示すように、カメラ座標系は、レンズ中心を原点としてカメラ光軸をZ軸にとり、画像面上でのx軸、y軸に平行にX軸、Y軸をとる。ここで、焦点距離fは既知である。
【0036】
また、レーザレーダ座標系は、受光器を原点、レーザ光軸をZR 軸にとり、鉛直方向にYR 軸、水平方向にXR 軸を設定する。XR YR ZR 座標系からXYZ座標系へは、回転ベクトルω、並進ベクトルTの合成行列ωTによって変換可能であり、後述するように、本発明ではレーザレーダモジュール1により特定される反射点の座標をカメラ座標に変換して照合する。但し、合成行列ωTは予めキャリブレーションを行っており、既知である。
【0037】
そして、カメラモジュール2のCCDカメラにより自車前方が撮像され、従来と同様、図12に示すように、カメラモジュール2によりその撮像画像に対して水平方向(X方向)に長い矩形の注視領域ROI(図12中の白枠の矩形領域)が設定され、その注視領域ROIにおける各画素の濃淡からX方向(水平方向)へのエッジヒストグラムEHx、これに直交するY方向(垂直方向)へのエッジヒストグラムEHy、及び両方向へのエッジヒストグラムの積EHxyが演算される。
【0038】
このとき、車両のリアガラスやリアバンパ付近はY方向エッジ成分を多く含むので、車両の後端面についてはY方向へのエッジヒストグラムEHyが大きな値となるのに対し、電柱や街灯の柱、ガードレール等の道路構造物の場合、X方向へのエッジヒストグラムEHxは大きくなるがY方向へのエッジヒストグラムEHyは小さい値となる。そのため、X方向へのエッジヒストグラムEHxとY方向へのエッジヒストグラムEHyとを積算することで、車両後端面以外のエッジヒストグラムの極大点をある程度抑制することができ、逆に車両後端面のエッジヒストグラムの極大点を強調することができる。
【0039】
従って、前フレームでの車両認識位置を基に計算した現フレームでの車両予測位置から、優先的にエッジヒストグラムの積EHxyの極大点(xL,xR)を車両後端位置候補ペアとして切り出していき、区間(xL,xR)で所定のしきい値以上のY方向エッジEy(図12参照)を水平方向にカウントしたエッジヒストグラムEVyを作成し、このEVy中の極大点で車間距離と推定車幅を考慮した車両上(下)端の近さの程度から車両上下端候補(yU,yD)を求める。こうすると、道路勾配変化による車両上下位置ずれに、ある程度対応することができる。この4点で定まる矩形が車両候補領域として抽出される。
【0040】
そして、CPU3により、この車両候補領域におけるX方向(水平方向)及びY方向(垂直方向)へのエッジヒストグラムそれぞれに基づき、サイズを縮小した照合パターンとしてのX方向ベクトル及びY方向ベクトルが作成される。このようなCPU3によるX,Y方向ベクトルの作成処理が第1の作成部に相当する。
【0041】
一方、レーザレーダモジュール1は、自車の前方にレーザ光を照射し、その際スキャニング機構により所定角度(例えば0.1゜)ずつレーザ光が水平方向にスキャンされ、自車前方の対象物からの反射光が受光器により受光されてレーザ光の照射から反射光の受光までの時間から、自車と同一車線を走行する先行車との車間距離が検出されるようになっている。このような1回の車間距離の検出処理に要する時間は、約100ms程度の短い時間であり、この検出動作が一定時間毎に繰り返される。
【0042】
更に、このような動作によりレーザレーダモジュール1により対象物上の複数の反射点が特定されると、例えば図3に示すように、その特定された各反射点の受光強度ヒストグラム(図3中の白色リスト)が形成され、CPU3により、その受光強度ヒストグラムに基づき、サイズを縮小した分布パターンとしてのレーザベクトルが作成される。このとき、中遠距離からの反射点の場合、受光するレーザ本数が少ないことから、受光強度リスト値が欠落するため、欠落した位置には、欠落位置左右近辺の受光強度平均値で補填してある程度その距離での受光強度モデルへと形状を近づけておくのが望ましい。このようなCPU3によるレーザベクトルの作成処理が第2の作成部に相当する。
【0043】
ところで、メモリ4には上記したように辞書パターンとしての複数の辞書フュージョンベクトルが格納されており、この辞書フュージョンベクトルは次のようにして得られる。例えば、図4に示すような各種のサンプル用車両を予め準備し、そのサンプル画像に対してカメラモジュール2により導出されたX方向へのエッジヒストグラムEHx及びY方向へのエッジヒストグラムEHyに基づき、CPU3により、サイズを縮小した辞書用X方向ベクトルhx_及び辞書用Y方向ベクトルhy_が作成され、各種サンプル用車両に対しレーザレーダモジュール1により特定された各反射点について作成される受光強度ヒストグラムに基づき、CPU3により、サイズを縮小した辞書用レーザベクトルlp_が作成され、これら辞書用X方向、Y方向ベクトルhx_,hy_及び辞書用レーザベクトルlp_が生データの段階で融合され、固有空間法の適用により次元圧縮されてフュージョンベクトルv_が得られる。
【0044】
このとき、辞書用X方向及びY方向ベクトルhx_,hy_を、
hx_=〔hx1,hx2,hx3,…,hxm〕…(1)
hy_=〔hy1,hy2,hy3,…,hym〕…(2)
と定義し、辞書用レーザベクトルlp_を、
lp_=〔lp1,lp2,lp3,…,lpn〕…(3)
と定義すると、フュージョンベクトルv_は、
v_=〔hx_,hy_,lp_〕T …(4)
と定義することができる。ここで、辞書用レーザベクトルlp_は様々な距離のモデルをN個準備しておく。即ち、フュージョンベクトルv_は、d次元(2×m+n)であり、そのサンプル数はM×N個である。
【0045】
そして、フュージョンベクトルv_の共分散行列Qは、
Q=E{(v_−m_)(v_−m_)T }…(5)
と表わされ、(5) 式中のm_はv_の平均ベクトルであって、
m_=E{v_}…(6)
である。ここで、
Qej =λj ej …(7)
の固有値問題を解く。作成辞書をk次元とすると、k個の大きな固有値に対応する固有ベクトルe_は、
e_={e1_,e2_,e3_,…,ek_}…(8)
で定義される。尚、kの値は、
α=Σk j=1λj/Σd j=1λj…(9)
の式で表わされる累積寄与率αが0.9以上になる最小値とする。
【0046】
更に、d次元のフュージョンベクトルv_は、(8) 式で表わされる固有ベクトルe_を用いて、
u_=〔e1_,e2_,e3_,…,ek_〕Tv_…(10)
の式により、k次元の主成分ベクトルu_に圧縮することができ、この主成分ベクトルu_を準備した全てのフュージョンベクトルv_に対して予め計算し、辞書フュージョンベクトルとしてメモリ4に登録、蓄積しておくのである。
【0047】
そして、上記した辞書用X方向、Y方向ベクトルhx_,hy_及び辞書用レーザベクトルlp_の作成と同様にして、実走行時の車両候補領域について、CPU3により、X方向、Y方向ベクトル及びレーザベクトルが作成されると共に、これらが生データの段階で融合され、固有空間法の適用により次元圧縮されて融合パターンとしてのフュージョンベクトルが作成される。ここで、画像データとレーザデータとを融合するには、図5に示すように、CCDカメラの検知範囲とレーザレーダの検知範囲とが重なっていることが前提となる。このようなCPU3によるフュージョンベクトルの作成処理がフュージョン部に相当する。
【0048】
更に、CPU3により、実走行時のフュージョンベクトルと、メモリ4に蓄積されている辞書フュージョンベクトルとが照合され、実走行時のフュージョンベクトルに対応する車両後方領域が前方車両かどうかの判断がなされる。このとき、CPU3により、実走行時における車両候補領域のフュージョンベクトルが上記した(10)式により車両固有空間に投影され、辞書フュージョンベクトルとの距離が導出され、その距離の特徴空間上でのユークリッド距離が予め定められたしきい値よりも小さければ車両候補領域が前方車両であると判断され、大きければ非車両と判断されるのである。このように、フュージョンベクトルの作成まで含めたCPU3による一連の照合処理が照合部に相当する。
【0049】
また、CPU3により、前方車両であると判断された車両候補領域のフュージョンベクトルは、辞書フュージョンベクトルとしてメモリ4に登録される。こうすることで、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【0050】
更に、前方車両であると判断された車両候補領域について、CPU3により、カルマンフィルタによる動き予測が行われ、次回の照合処理に利用され、こうすることによって、より精度の高い車両認識を実現することができるのである。
【0051】
次に、CPU2による車両の認識処理手順について、図6に示すフローチャートを参照して説明する。図6に示すように、自車の走行中にCCDカメラにより撮像された自車前方の画像中の注視領域について、カメラモジュール2により上記したようにエッジヒストグラムEHx,EHy,EHxyが計算され(S1)、そのエッジヒストグラムEHxyの極大点が求められ、その極大点と前回の認識結果とに基づき車両候補領域が抽出される。
【0052】
更に、図6に示すように、レーザレーダモジュール1によりレーザ光の反射点が特定されて受光強度ヒストグラムが導出され(S2)、CPU3により、車両候補領域についてのX,Y方向ベクトル及びレーザベクトルが作成されると共に、これらのベクトルが融合されてフュージョンベクトルが作成され(S3)、車両候補領域のフュージョンベクトルと、メモリ4に蓄積されている複数の辞書フュージョンベクトルとが照合される(S4)。
【0053】
そして、その車両候補領域のフュージョンベクトルとの距離が所定のしきい値以下になる辞書フュージョンベクトル存在するかどうかにより、車両候補領域が車両であるか否かの判定がなされ(S5)、この判定結果がNOであればその車両候補領域は非車両であるとして却下され(S6)、判定結果がYESであれば、その車両候補領域は車両であると予測され(S7)、例えば先行車両との車間距離を所定値に保持して追従走行する場合の制御などに使用される。尚、ステップS7の後は、上記したステップS3に戻り、次フレームからは、その矩形領域について優先的にカルマンフィルタによる追跡が行われる。
【0054】
こうして、実走行時における連続シーンとして、例えば図7〜図9に示すような画像が撮像されたとすると、図7に示すように車両と路側構造物である壁からのレーザ反射点が近接しているシーンでは、従来のようにレーザレーダ単独ではクラスタリングが困難であり、画像センサ単独では車両部の切り出しが困難で距離精度の悪化を招いていたのに対し、上記した本発明の手法によれば、図7〜図9中の白線矩形に示すように、車両認識に成功していることがわかる。また、図9に示すように、レーザ検知範囲内にガードレールが存在する場合であっても、従来のようにレーザレーダ単独ではガードレールを車両と誤認識していたのに対し、上記した本発明の手法によれば、車両認識に成功していることがわかる。
【0055】
更に、図10は同じ車両に対する車両信頼度Rの比較を示しており、実線が本発明における融合の場合、点線が従来の画像のみの場合であり、本発明の手法の方が信頼度Rの高いことがわかる。
【0056】
従って、上記した実施形態によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づくX,Y方向ベクトルと、レーザレーダにより特定される各反射点の受光強度ヒストグラムに基づくレーザベクトルとを融合して得られるフュージョンベクトルが、メモリ4に蓄積されている各辞書フュージョンベクトルと照合され、前方車両かどうかが判断されるため、レーザレーダ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【0057】
更に、学習により、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【0058】
なお、上記した実施形態では、画像センサとして単眼CCDカメラを用いた場合について説明したが、画像センサは上記した単眼CCDカメラに限定されるものでないのはいうまでもない。更に、格納部も上記したRAMなどから成るメモリ4に限定されるものではない。
【0059】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【0060】
【発明の効果】
以上のように、請求項1、6に記載の発明によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することが可能になり、より高度でより快適な運転支援システムを提供することができる。
【0061】
また、請求項2、7に記載の発明によれば、画像処理により得られる照合パターンとしてのX方向ベクトル及びY方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことが可能になる。
【0062】
また、請求項3、8に記載の発明によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することが可能になると共に、レーザレーダ単独の場合のような誤差の拡大を防止することが可能になる。
【0063】
また、請求項4、9に記載の発明によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することが可能になる。
【0064】
また、請求項5、10に記載の発明によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することが可能になる。
【図面の簡単な説明】
【図1】この発明の一実施形態のブロック図である。
【図2】この発明の一実施形態の動作説明図である。
【図3】この発明の一実施形態の動作説明図である。
【図4】この発明の一実施形態の動作説明図である。
【図5】この発明の一実施形態の動作説明図である。
【図6】この発明の一実施形態の動作説明図である。
【図7】この発明の一実施形態の動作説明図である。
【図8】この発明の一実施形態の動作説明図である。
【図9】この発明の一実施形態の動作説明図である。
【図10】この発明の一実施形態の動作説明図である。
【図11】この発明の背景となるスキャンレーザレーダによる反射点検出の動作説明図である。
【図12】この発明の背景となる画像センサによる車両認識の動作説明図である。
【符号の説明】
1 レーザレーダモジュール
2 カメラモジュール(画像処理部)
3 CPU(照合部、第1の作成部、第2の作成部、フュージョン部)
4 メモリ(格納部)
Claims (10)
- 自車の前方を走行する車両を認識する前方車両認識装置において、
自車前方を撮像する画像センサと、
前記画像センサによる撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する画像処理部と、
自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定するレーザレーダと、
予め準備した各種のサンプル用車両のサンプル画像について前記画像処理部により導出された前記エッジヒストグラムのパターンと、前記各サンプル用車両について前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンを格納した格納部と、
前記画像処理部により実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法の適用により次元圧縮して成る融合パターンが、前記格納部に格納されている前記各辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合部と
を備えていることを特徴とする前方車両認識装置。 - 前記画像処理部が、
前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のX方向へのエッジヒストグラム、これに直交する画面のY方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出し、
前記照合部が、
前記画像処理部により前記車両候補領域において導出される前記X方向及びY方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したX方向ベクトル及びY方向ベクトルを前記照合パターンとして作成する第1の作成部と、
前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する第2の作成部と、
前記車両候補領域における前記X方向ベクトル、Y方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成するフュージョン部と
を備えていることを特徴とする請求項1に記載の前方車両認識装置。 - 前記辞書パターンが、
前記各サンプル用車両のサンプル画像に対して前記画像処理部により導出された前記X方向及びY方向へのエッジヒストグラムに基づき、前記第1の作成部によりサイズを縮小して作成される辞書用X方向及びY方向ベクトルと、前記サンプル用車両に対し前記レーザレーダにより特定された前記各反射点について、前記第2の作成部によりサイズを縮小して作成される辞書用レーザベクトルとが、前記フュージョン部により融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、
前記照合部が、
実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する
ことを特徴とする請求項2に記載の前方車両認識装置。 - 前記照合部により前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして前記格納部に登録する
ことを特徴とする請求項3に記載の前方車両認識装置。 - 前記照合部が、
前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用することを特徴とする請求項2ないし4のいずれかに記載の前方車両認識装置。 - 自車の前方を走行する車両を認識する前方車両認識方法において、
画像センサにより、撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する導出工程と、
レーザレーダにより、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定する特定工程と、
実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法により次元圧縮した融合パターンが、予め準備した各種のサンプル用車両について、そのサンプル画像から導出された前記エッジヒストグラムのパターンと、前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合工程と
を含むことを特徴とする前方車両認識方法。 - 前記導出工程が、
前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のX方向へのエッジヒストグラム、これに直交する画面のY方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出する工程を含み、
前記照合工程が、
前記車両候補領域において導出される前記X方向及びY方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したX方向ベクトル及びY方向ベクトルを前記照合パターンとして作成する工程と、
前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する工程と、
前記車両候補領域における前記X方向ベクトル、Y方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成する工程とを含む
ことを特徴とする請求項6に記載の前方車両認識方法。 - 前記辞書パターンが、
前記各サンプル用車両のサンプル画像に対して、導出された前記X方向及びY方向へのエッジヒストグラムに基づき、サイズを縮小して作成される辞書用X方向及びY方向ベクトルと、前記サンプル用車両に対して、前記レーザレーダにより特定された前記各反射点についてサイズを縮小して作成される辞書用レーザベクトルとが融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、
前記照合工程が、
実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する工程を含む
ことを特徴とする請求項7に記載の前方車両認識方法。 - 前記照合工程により、前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして登録する工程を含むことを特徴とする請求項8に記載の前方車両認識方法。
- 前記照合工程が、
前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用する工程を含むことを特徴とする請求項7ないし9のいずれかに記載の前方車両認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001290760A JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001290760A JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003099762A JP2003099762A (ja) | 2003-04-04 |
JP4070437B2 true JP4070437B2 (ja) | 2008-04-02 |
Family
ID=19113017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001290760A Expired - Fee Related JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4070437B2 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003172780A (ja) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
JP2003315458A (ja) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
JP3941765B2 (ja) * | 2003-09-11 | 2007-07-04 | トヨタ自動車株式会社 | 物体検出装置 |
DE102004052347A1 (de) * | 2004-10-28 | 2006-05-04 | Daimlerchrysler Ag | Erfassung von Umgebungsinformationen im Nahbereich eines Fahrzeuges mittels RADAR und Evidenz-Histogramm |
JP4426436B2 (ja) * | 2004-12-27 | 2010-03-03 | 株式会社日立製作所 | 車両検知装置 |
US7454058B2 (en) * | 2005-02-07 | 2008-11-18 | Mitsubishi Electric Research Lab, Inc. | Method of extracting and searching integral histograms of data samples |
JP4710437B2 (ja) * | 2005-07-01 | 2011-06-29 | トヨタ自動車株式会社 | 対象物探索装置 |
JP4753765B2 (ja) * | 2006-03-30 | 2011-08-24 | ダイハツ工業株式会社 | 障害物認識方法 |
JP5185554B2 (ja) * | 2007-03-23 | 2013-04-17 | 富士重工業株式会社 | オンラインリスク学習システム |
JP5592308B2 (ja) | 2011-05-19 | 2014-09-17 | 富士重工業株式会社 | 環境認識装置 |
JP2012243051A (ja) | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
KR101361599B1 (ko) * | 2011-09-30 | 2014-02-25 | 성균관대학교산학협력단 | 주행 가능 영역 제공 장치, 방법 및 시스템 |
KR101348944B1 (ko) * | 2011-12-30 | 2014-01-16 | 한국과학기술연구원 | 무인주행차량을 위한 교차로 검출 방법 및 이를 이용한 무인주행차량 |
KR101348941B1 (ko) * | 2011-12-30 | 2014-01-16 | 한국과학기술연구원 | 무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량 |
KR101534927B1 (ko) | 2013-10-08 | 2015-07-07 | 현대자동차주식회사 | 차량 인지 장치 및 방법 |
KR101342124B1 (ko) | 2013-10-18 | 2013-12-19 | 주식회사 지티 | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 |
JP7111454B2 (ja) * | 2017-09-28 | 2022-08-02 | 株式会社デンソー | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 |
KR102545105B1 (ko) * | 2018-10-10 | 2023-06-19 | 현대자동차주식회사 | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 |
US11891086B2 (en) * | 2019-05-13 | 2024-02-06 | Hitachi Astemo, Ltd. | Vehicle control system |
CN110803107B (zh) * | 2019-10-16 | 2021-06-29 | 中国第一汽车股份有限公司 | 一种流媒体后视镜切换控制方法、流媒体后视镜及汽车 |
CN112634269B (zh) * | 2021-01-14 | 2023-12-26 | 华东交通大学 | 一种轨道车辆车体检测方法 |
CN113075716A (zh) * | 2021-03-19 | 2021-07-06 | 地平线(上海)人工智能技术有限公司 | 基于图像的车辆定位方法和装置、存储介质以及电子设备 |
CN113534824B (zh) * | 2021-07-21 | 2023-04-25 | 中国科学院沈阳自动化研究所 | 面向水下机器人集群的视觉定位与近距离密集编队方法 |
-
2001
- 2001-09-25 JP JP2001290760A patent/JP4070437B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003099762A (ja) | 2003-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4070437B2 (ja) | 前方車両認識装置及び認識方法 | |
KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
KR102029850B1 (ko) | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 | |
US7612800B2 (en) | Image processing apparatus and method | |
JP4426436B2 (ja) | 車両検知装置 | |
US7684590B2 (en) | Method of recognizing and/or tracking objects | |
Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
US7974442B2 (en) | Vehicular vision system | |
JP4246766B2 (ja) | 車両から対象物を位置測定して追跡する方法および装置 | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
US10776637B2 (en) | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium | |
JP3727400B2 (ja) | 横断者の検出装置 | |
JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
JPH07129898A (ja) | 障害物検出装置 | |
JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
CN114118252A (zh) | 一种基于传感器多元信息融合的车辆检测方法及检测装置 | |
JP4969359B2 (ja) | 移動物認識装置 | |
JP2007233440A (ja) | 車載用画像処理装置 | |
JP3465531B2 (ja) | 物体認識方法およびその装置 | |
JP3319401B2 (ja) | 走行路認識装置 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
CN113327192B (zh) | 一种通过三维测量技术测算汽车行驶速度的方法 | |
JPH10232936A (ja) | 物体認識方法およびその装置 | |
Hwang et al. | Vehicle detection system design based on stereo vision sensors | |
JP3517999B2 (ja) | 車両認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080115 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |