JP4070437B2 - 前方車両認識装置及び認識方法 - Google Patents
前方車両認識装置及び認識方法 Download PDFInfo
- Publication number
- JP4070437B2 JP4070437B2 JP2001290760A JP2001290760A JP4070437B2 JP 4070437 B2 JP4070437 B2 JP 4070437B2 JP 2001290760 A JP2001290760 A JP 2001290760A JP 2001290760 A JP2001290760 A JP 2001290760A JP 4070437 B2 JP4070437 B2 JP 4070437B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vector
- dictionary
- fusion
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、自車の前方を走行する車両を認識する前方車両認識装置及び認識方法に関する。
【０００２】
【従来の技術】
近年、例えば高速道路における追従走行機能や操舵アシスト機能といった、より高度でより快適な運転支援システムを搭載した車両が提案され、そのひとつにスキャンレーザレーダを用いて自車前方の車両を認識する認識装置がある。
【０００３】
この種スキャンレーザレーダを用いた従来の認識装置では、レーザ光を照射してから反射光を観測するまでの時間を計測することで、反射点までの距離を検出でき、スキャニング機構を設けることにより、１０数゜の水平視野を確保し、近距離及び中距離の車両であれば、図１１（ａ）及び（ｂ）に示すように、車両後端面の両端に装備されているリフレクタ（反射板）のほかボディからの反射が多数観測され、反射点の数は３点以上の多数に及ぶ一方、遠距離の車両であれば、同図（ｃ）に示すように、車両後端面のリフレクタからの反射が２点観測されるにとどまる。
【０００４】
ところが、この場合、車体の同じ部位から一定して反射があるわけではなく、車両の向き、形状、位置関係等で時々刻々反射位置が変化し、分布も一様ではない。
【０００５】
そこで、得られた反射点群に対してファジィ手法等によるクラスタリングをすることで先行車両を認識する手法が提案されている。その具体例として、自動車技術会学術講演会前刷集９３１，Ｎｏ．９３０１７１９，ｐｐ５３−５６（１９９３−５）（「レーザレーダによる先行車認識アルゴリズム開発」）に記載の手法、或いは、本件出願人の出願にかかる特開平６−３０９６００号公報に記載の手法等がある。
【０００６】
例えば、自車と車両候補点群との距離の変化から自車に対する車両候補点群の相対速度を導出し、導出した相対速度が所定値よりも大きいときには、自車速度と先行車両候補の相対速度との差、自車に対する先行車両候補の車幅方向の位置ずれ量などの関数である適合度関数を用いて先行車両であることの確かさを表わす確信度を演算すると共に、レーザ光の走査方向及び自車の進行方向を座標軸とする座標系における車両候補点群の座標と相対速度を算出するごとに確信度の演算を繰り返し、確信度と基準値との差を累積加算してその加算合計値が他の基準値より大きいか否かを判断し、小さいときにその車両候補点群が同一レーン上を走行中と判断し、大きいときに同一レーン上にないと判断するものである。
【０００７】
【発明が解決しようとする課題】
しかし、これら従来の手法は、高速道路のように車両どうしの間隔や車両と路側構造物との間隔が広い場合にはほとんど問題はないが、これを一般道路に拡張しようとすると次のような課題が生じる。つまり、
第１の課題として、前方車両の近傍の走行車両または駐停車車両や路側物からの反射を、前方車両からの反射に含めて処理してしまい、前方車両の距離計測値に誤差が生じる、
第２の課題として、車両が存在しないときに、ガードレールの反射板や看板等の路側構造物からの反射も観測され、これらを駐停車車両や前方車両として誤認識することがある、
第３の課題として、一般的にレーダの水平検知視野は狭いため、近距離での割り込み車両等の検出が遅れる、
という課題がある。
【０００８】
更に、レーザレーダの場合、路面の水を前方車両がはね上げることでレーザ光が減衰し、前方車両を認識できなくなったり、隣接車線を走行する前方車両を観測車と同じ車線を走行する車両と判定したりするが、これらはレーザレーダ特有の課題や、その他の非常に高度な認識処理を要する課題であって、今回、本発明が解決しようとする課題ではない。
【０００９】
一方、従来、画像センサによる撮像画像を処理して車両認識する装置も提案されており、画像センサの場合、パターン認識能力は上記したレーザレーダよりも優れている。この種の装置では、例えば図１２に示すように、画像センサによる撮像画像に横長の注視領域を設定し、その注視領域における各画素の濃淡からＸ方向（水平方向）へのエッジヒストグラムＥＨｘ、これに直交するＹ方向（垂直方向）へのエッジヒストグラムＥＨｙ、及び両方向へのエッジヒストグラムの積ＥＨｘｙを演算し、車両候補領域を抽出することが提案されている。
【００１０】
しかしながら、画像センサの場合、複雑なシーンでは次のような課題がある。つまり、距離計測は先行車幅等、いくつかの仮定を設定することで近似計測できるだけで、カルマンフィルタ等の位置予測アルゴリズムに適用した場合に、予測値が安定しにくい。また、遠距離ではパターン認識力を十分に発揮することができず、至近距離では大きな車両の場合に全部を撮影できず、車両認識が困難になることがある。更に、複雑なシーンでは車両以外が作るエッジを車両と誤認識する場合があり、一時的な陰や曇りなどで見かけ画像が変化した場合には、車両認識が困難になることが多い。
【００１１】
そこで、本発明は、レーザレーダを用いた車両認識と、画像センサによる車両認識との融合により、前方車両以外の車両や路側物等からの反射を排除して、精度の高い認識を行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる前方車両認識装置は、自車の前方を走行する車両を認識する前方車両認識装置において、自車前方を撮像する画像センサと、前記画像センサによる撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する画像処理部と、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定するレーザレーダと、予め準備した各種のサンプル用車両のサンプル画像について前記画像処理部により導出された前記エッジヒストグラムのパターンと、前記各サンプル用車両について前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンを格納した格納部と、前記画像処理部により実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法の適用により次元圧縮して成る融合パターンが、前記格納部に格納されている前記各辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合部とを備えていることを特徴としている。
【００１３】
このような構成によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００１４】
また、本発明にかかる前方車両認識装置は、前記画像処理部が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出し、前記照合部が、前記画像処理部により前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する第１の作成部と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する第２の作成部と、前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成するフュージョン部とを備えていることを特徴としている。
【００１５】
このような構成によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【００１６】
また、本発明にかかる前方車両認識装置は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して前記画像処理部により導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、前記第１の作成部によりサイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対し前記レーザレーダにより特定された前記各反射点について、前記第２の作成部によりサイズを縮小して作成される辞書用レーザベクトルとが、前記フュージョン部により融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合部が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断することを特徴としている。
【００１７】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【００１８】
また、本発明にかかる前方車両認識装置は、前記照合部により前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして前記格納部に登録することを特徴としている。
【００１９】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【００２０】
また、本発明にかかる前方車両認識装置は、前記照合部が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用することを特徴としている。
【００２１】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【００２２】
また、本発明にかかる前方車両認識方法は、画像センサにより、撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する導出工程と、レーザレーダにより、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定する特定工程と、実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法により次元圧縮した融合パターンが、予め準備した各種のサンプル用車両について、そのサンプル画像から導出された前記エッジヒストグラムのパターンと、前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合工程とを含むことを特徴としている。
【００２３】
このような構成によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００２４】
また、本発明にかかる前方車両認識方法は、前記導出工程が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出する工程を含み、前記照合工程が、前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する工程と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する工程と、前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成する工程とを含むことを特徴としている。
【００２５】
このような構成によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【００２６】
また、本発明にかかる前方車両認識方法は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して、導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、サイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対して、前記レーザレーダにより特定された前記各反射点についてサイズを縮小して作成される辞書用レーザベクトルとが融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合工程が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する工程を含むことを特徴としている。
【００２７】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【００２８】
また、本発明にかかる前方車両認識方法は、前記照合工程により、前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして登録する工程を含むことを特徴としている。
【００２９】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【００３０】
また、本発明にかかる前方車両認識方法は、前記照合工程が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用する工程を含むことを特徴としている。
【００３１】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【００３２】
【発明の実施の形態】
この発明の一実施形態について図１ないし図１０を参照して説明する。但し、図１はブロック図、図２ないし図１０は動作説明図である。
【００３３】
図１に示すように、スキャンレーザレーダ、そのスキャニング機構及び受光器から成るレーザレーダモジュール１、及び、画像センサである単眼ＣＣＤカメラから成る画像処理部としてのカメラモジュール２が自車に搭載され、レーザレーダモジュール１により、自車前方にレーザ光が水平方向にスキャンされつつ照射され、反射点からの反射光が受光されて複数個の反射点の位置が特定され、カメラモジュール２により自車の前方が撮像される。また、ＲＡＭ等から成る格納部としてのメモリ４には、後で詳述する辞書パターンとしての辞書フュージョンベクトルが格納されている。
【００３４】
更に、レーザレーダモジュール１により特定された反射点データ、及び、カメラモジュール２により得られた撮像画像がＣＰＵ３によりＲＡＭ等から成る図１には示されていない他のメモリに保存される。このとき、レーザレーダモジュール１によるデータと、カメラモジュール２によるデータを、メモリ４の辞書フュージョンベクトルの格納エリアとは異なるエリアに保存するようにしてもよい。
【００３５】
ところで、レーザレーダモジュール１及びカメラモジュール２の座標系の関係は、例えば図２に示すように設定する。つまり、図２に示すように、カメラ座標系は、レンズ中心を原点としてカメラ光軸をＺ軸にとり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をとる。ここで、焦点距離ｆは既知である。
【００３６】
また、レーザレーダ座標系は、受光器を原点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸＹＺ座標系へは、回転ベクトルω、並進ベクトルＴの合成行列ωＴによって変換可能であり、後述するように、本発明ではレーザレーダモジュール１により特定される反射点の座標をカメラ座標に変換して照合する。但し、合成行列ωＴは予めキャリブレーションを行っており、既知である。
【００３７】
そして、カメラモジュール２のＣＣＤカメラにより自車前方が撮像され、従来と同様、図１２に示すように、カメラモジュール２によりその撮像画像に対して水平方向（Ｘ方向）に長い矩形の注視領域ＲＯＩ（図１２中の白枠の矩形領域）が設定され、その注視領域ＲＯＩにおける各画素の濃淡からＸ方向（水平方向）へのエッジヒストグラムＥＨｘ、これに直交するＹ方向（垂直方向）へのエッジヒストグラムＥＨｙ、及び両方向へのエッジヒストグラムの積ＥＨｘｙが演算される。
【００３８】
このとき、車両のリアガラスやリアバンパ付近はＹ方向エッジ成分を多く含むので、車両の後端面についてはＹ方向へのエッジヒストグラムＥＨｙが大きな値となるのに対し、電柱や街灯の柱、ガードレール等の道路構造物の場合、Ｘ方向へのエッジヒストグラムＥＨｘは大きくなるがＹ方向へのエッジヒストグラムＥＨｙは小さい値となる。そのため、Ｘ方向へのエッジヒストグラムＥＨｘとＹ方向へのエッジヒストグラムＥＨｙとを積算することで、車両後端面以外のエッジヒストグラムの極大点をある程度抑制することができ、逆に車両後端面のエッジヒストグラムの極大点を強調することができる。
【００３９】
従って、前フレームでの車両認識位置を基に計算した現フレームでの車両予測位置から、優先的にエッジヒストグラムの積ＥＨｘｙの極大点（ｘＬ，ｘＲ）を車両後端位置候補ペアとして切り出していき、区間（ｘＬ，ｘＲ）で所定のしきい値以上のＹ方向エッジＥｙ（図１２参照）を水平方向にカウントしたエッジヒストグラムＥＶｙを作成し、このＥＶｙ中の極大点で車間距離と推定車幅を考慮した車両上（下）端の近さの程度から車両上下端候補（ｙＵ，ｙＤ）を求める。こうすると、道路勾配変化による車両上下位置ずれに、ある程度対応することができる。この４点で定まる矩形が車両候補領域として抽出される。
【００４０】
そして、ＣＰＵ３により、この車両候補領域におけるＸ方向（水平方向）及びＹ方向（垂直方向）へのエッジヒストグラムそれぞれに基づき、サイズを縮小した照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルが作成される。このようなＣＰＵ３によるＸ，Ｙ方向ベクトルの作成処理が第１の作成部に相当する。
【００４１】
一方、レーザレーダモジュール１は、自車の前方にレーザ光を照射し、その際スキャニング機構により所定角度（例えば０．１゜）ずつレーザ光が水平方向にスキャンされ、自車前方の対象物からの反射光が受光器により受光されてレーザ光の照射から反射光の受光までの時間から、自車と同一車線を走行する先行車との車間距離が検出されるようになっている。このような１回の車間距離の検出処理に要する時間は、約１００ｍｓ程度の短い時間であり、この検出動作が一定時間毎に繰り返される。
【００４２】
更に、このような動作によりレーザレーダモジュール１により対象物上の複数の反射点が特定されると、例えば図３に示すように、その特定された各反射点の受光強度ヒストグラム（図３中の白色リスト）が形成され、ＣＰＵ３により、その受光強度ヒストグラムに基づき、サイズを縮小した分布パターンとしてのレーザベクトルが作成される。このとき、中遠距離からの反射点の場合、受光するレーザ本数が少ないことから、受光強度リスト値が欠落するため、欠落した位置には、欠落位置左右近辺の受光強度平均値で補填してある程度その距離での受光強度モデルへと形状を近づけておくのが望ましい。このようなＣＰＵ３によるレーザベクトルの作成処理が第２の作成部に相当する。
【００４３】
ところで、メモリ４には上記したように辞書パターンとしての複数の辞書フュージョンベクトルが格納されており、この辞書フュージョンベクトルは次のようにして得られる。例えば、図４に示すような各種のサンプル用車両を予め準備し、そのサンプル画像に対してカメラモジュール２により導出されたＸ方向へのエッジヒストグラムＥＨｘ及びＹ方向へのエッジヒストグラムＥＨｙに基づき、ＣＰＵ３により、サイズを縮小した辞書用Ｘ方向ベクトルｈｘ＿及び辞書用Ｙ方向ベクトルｈｙ＿が作成され、各種サンプル用車両に対しレーザレーダモジュール１により特定された各反射点について作成される受光強度ヒストグラムに基づき、ＣＰＵ３により、サイズを縮小した辞書用レーザベクトルｌｐ＿が作成され、これら辞書用Ｘ方向、Ｙ方向ベクトルｈｘ＿，ｈｙ＿及び辞書用レーザベクトルｌｐ＿が生データの段階で融合され、固有空間法の適用により次元圧縮されてフュージョンベクトルｖ＿が得られる。
【００４４】
このとき、辞書用Ｘ方向及びＹ方向ベクトルｈｘ＿，ｈｙ＿を、
ｈｘ＿＝〔ｈｘ１，ｈｘ２，ｈｘ３，…，ｈｘｍ〕…(1)
ｈｙ＿＝〔ｈｙ１，ｈｙ２，ｈｙ３，…，ｈｙｍ〕…(2)
と定義し、辞書用レーザベクトルｌｐ＿を、
ｌｐ＿＝〔ｌｐ１，ｌｐ２，ｌｐ３，…，ｌｐｎ〕…(3)
と定義すると、フュージョンベクトルｖ＿は、
ｖ＿＝〔ｈｘ＿，ｈｙ＿，ｌｐ＿〕Ｔ …(4)
と定義することができる。ここで、辞書用レーザベクトルｌｐ＿は様々な距離のモデルをＮ個準備しておく。即ち、フュージョンベクトルｖ＿は、ｄ次元（２×ｍ＋ｎ）であり、そのサンプル数はＭ×Ｎ個である。
【００４５】
そして、フュージョンベクトルｖ＿の共分散行列Ｑは、
Ｑ＝Ｅ｛（ｖ＿−ｍ＿）（ｖ＿−ｍ＿）Ｔ ｝…(5)
と表わされ、(5) 式中のｍ＿はｖ＿の平均ベクトルであって、
ｍ＿＝Ｅ｛ｖ＿｝…(6)
である。ここで、
Ｑｅj ＝λj ｅj …(7)
の固有値問題を解く。作成辞書をｋ次元とすると、ｋ個の大きな固有値に対応する固有ベクトルｅ＿は、
ｅ＿＝｛ｅ１＿，ｅ２＿，ｅ３＿，…，ｅｋ＿｝…(8)
で定義される。尚、ｋの値は、
α＝Σｋ ｊ＝１λｊ／Σｄ ｊ＝１λｊ…(9)
の式で表わされる累積寄与率αが０．９以上になる最小値とする。
【００４６】
更に、ｄ次元のフュージョンベクトルｖ＿は、(8) 式で表わされる固有ベクトルｅ＿を用いて、
ｕ＿＝〔ｅ１＿，ｅ２＿，ｅ３＿，…，ｅｋ＿〕Ｔｖ＿…(10)
の式により、ｋ次元の主成分ベクトルｕ＿に圧縮することができ、この主成分ベクトルｕ＿を準備した全てのフュージョンベクトルｖ＿に対して予め計算し、辞書フュージョンベクトルとしてメモリ４に登録、蓄積しておくのである。
【００４７】
そして、上記した辞書用Ｘ方向、Ｙ方向ベクトルｈｘ＿，ｈｙ＿及び辞書用レーザベクトルｌｐ＿の作成と同様にして、実走行時の車両候補領域について、ＣＰＵ３により、Ｘ方向、Ｙ方向ベクトル及びレーザベクトルが作成されると共に、これらが生データの段階で融合され、固有空間法の適用により次元圧縮されて融合パターンとしてのフュージョンベクトルが作成される。ここで、画像データとレーザデータとを融合するには、図５に示すように、ＣＣＤカメラの検知範囲とレーザレーダの検知範囲とが重なっていることが前提となる。このようなＣＰＵ３によるフュージョンベクトルの作成処理がフュージョン部に相当する。
【００４８】
更に、ＣＰＵ３により、実走行時のフュージョンベクトルと、メモリ４に蓄積されている辞書フュージョンベクトルとが照合され、実走行時のフュージョンベクトルに対応する車両後方領域が前方車両かどうかの判断がなされる。このとき、ＣＰＵ３により、実走行時における車両候補領域のフュージョンベクトルが上記した(10)式により車両固有空間に投影され、辞書フュージョンベクトルとの距離が導出され、その距離の特徴空間上でのユークリッド距離が予め定められたしきい値よりも小さければ車両候補領域が前方車両であると判断され、大きければ非車両と判断されるのである。このように、フュージョンベクトルの作成まで含めたＣＰＵ３による一連の照合処理が照合部に相当する。
【００４９】
また、ＣＰＵ３により、前方車両であると判断された車両候補領域のフュージョンベクトルは、辞書フュージョンベクトルとしてメモリ４に登録される。こうすることで、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【００５０】
更に、前方車両であると判断された車両候補領域について、ＣＰＵ３により、カルマンフィルタによる動き予測が行われ、次回の照合処理に利用され、こうすることによって、より精度の高い車両認識を実現することができるのである。
【００５１】
次に、ＣＰＵ２による車両の認識処理手順について、図６に示すフローチャートを参照して説明する。図６に示すように、自車の走行中にＣＣＤカメラにより撮像された自車前方の画像中の注視領域について、カメラモジュール２により上記したようにエッジヒストグラムＥＨｘ，ＥＨｙ，ＥＨｘｙが計算され（Ｓ１）、そのエッジヒストグラムＥＨｘｙの極大点が求められ、その極大点と前回の認識結果とに基づき車両候補領域が抽出される。
【００５２】
更に、図６に示すように、レーザレーダモジュール１によりレーザ光の反射点が特定されて受光強度ヒストグラムが導出され（Ｓ２）、ＣＰＵ３により、車両候補領域についてのＸ，Ｙ方向ベクトル及びレーザベクトルが作成されると共に、これらのベクトルが融合されてフュージョンベクトルが作成され（Ｓ３）、車両候補領域のフュージョンベクトルと、メモリ４に蓄積されている複数の辞書フュージョンベクトルとが照合される（Ｓ４）。
【００５３】
そして、その車両候補領域のフュージョンベクトルとの距離が所定のしきい値以下になる辞書フュージョンベクトル存在するかどうかにより、車両候補領域が車両であるか否かの判定がなされ（Ｓ５）、この判定結果がＮＯであればその車両候補領域は非車両であるとして却下され（Ｓ６）、判定結果がＹＥＳであれば、その車両候補領域は車両であると予測され（Ｓ７）、例えば先行車両との車間距離を所定値に保持して追従走行する場合の制御などに使用される。尚、ステップＳ７の後は、上記したステップＳ３に戻り、次フレームからは、その矩形領域について優先的にカルマンフィルタによる追跡が行われる。
【００５４】
こうして、実走行時における連続シーンとして、例えば図７〜図９に示すような画像が撮像されたとすると、図７に示すように車両と路側構造物である壁からのレーザ反射点が近接しているシーンでは、従来のようにレーザレーダ単独ではクラスタリングが困難であり、画像センサ単独では車両部の切り出しが困難で距離精度の悪化を招いていたのに対し、上記した本発明の手法によれば、図７〜図９中の白線矩形に示すように、車両認識に成功していることがわかる。また、図９に示すように、レーザ検知範囲内にガードレールが存在する場合であっても、従来のようにレーザレーダ単独ではガードレールを車両と誤認識していたのに対し、上記した本発明の手法によれば、車両認識に成功していることがわかる。
【００５５】
更に、図１０は同じ車両に対する車両信頼度Ｒの比較を示しており、実線が本発明における融合の場合、点線が従来の画像のみの場合であり、本発明の手法の方が信頼度Ｒの高いことがわかる。
【００５６】
従って、上記した実施形態によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づくＸ，Ｙ方向ベクトルと、レーザレーダにより特定される各反射点の受光強度ヒストグラムに基づくレーザベクトルとを融合して得られるフュージョンベクトルが、メモリ４に蓄積されている各辞書フュージョンベクトルと照合され、前方車両かどうかが判断されるため、レーザレーダ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００５７】
更に、学習により、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【００５８】
なお、上記した実施形態では、画像センサとして単眼ＣＣＤカメラを用いた場合について説明したが、画像センサは上記した単眼ＣＣＤカメラに限定されるものでないのはいうまでもない。更に、格納部も上記したＲＡＭなどから成るメモリ４に限定されるものではない。
【００５９】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００６０】
【発明の効果】
以上のように、請求項１、６に記載の発明によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することが可能になり、より高度でより快適な運転支援システムを提供することができる。
【００６１】
また、請求項２、７に記載の発明によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことが可能になる。
【００６２】
また、請求項３、８に記載の発明によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することが可能になると共に、レーザレーダ単独の場合のような誤差の拡大を防止することが可能になる。
【００６３】
また、請求項４、９に記載の発明によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することが可能になる。
【００６４】
また、請求項５、１０に記載の発明によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することが可能になる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の一実施形態の動作説明図である。
【図７】この発明の一実施形態の動作説明図である。
【図８】この発明の一実施形態の動作説明図である。
【図９】この発明の一実施形態の動作説明図である。
【図１０】この発明の一実施形態の動作説明図である。
【図１１】この発明の背景となるスキャンレーザレーダによる反射点検出の動作説明図である。
【図１２】この発明の背景となる画像センサによる車両認識の動作説明図である。
【符号の説明】
１ レーザレーダモジュール
２ カメラモジュール（画像処理部）
３ ＣＰＵ（照合部、第１の作成部、第２の作成部、フュージョン部）
４ メモリ（格納部）
【発明の属する技術分野】
この発明は、自車の前方を走行する車両を認識する前方車両認識装置及び認識方法に関する。
【０００２】
【従来の技術】
近年、例えば高速道路における追従走行機能や操舵アシスト機能といった、より高度でより快適な運転支援システムを搭載した車両が提案され、そのひとつにスキャンレーザレーダを用いて自車前方の車両を認識する認識装置がある。
【０００３】
この種スキャンレーザレーダを用いた従来の認識装置では、レーザ光を照射してから反射光を観測するまでの時間を計測することで、反射点までの距離を検出でき、スキャニング機構を設けることにより、１０数゜の水平視野を確保し、近距離及び中距離の車両であれば、図１１（ａ）及び（ｂ）に示すように、車両後端面の両端に装備されているリフレクタ（反射板）のほかボディからの反射が多数観測され、反射点の数は３点以上の多数に及ぶ一方、遠距離の車両であれば、同図（ｃ）に示すように、車両後端面のリフレクタからの反射が２点観測されるにとどまる。
【０００４】
ところが、この場合、車体の同じ部位から一定して反射があるわけではなく、車両の向き、形状、位置関係等で時々刻々反射位置が変化し、分布も一様ではない。
【０００５】
そこで、得られた反射点群に対してファジィ手法等によるクラスタリングをすることで先行車両を認識する手法が提案されている。その具体例として、自動車技術会学術講演会前刷集９３１，Ｎｏ．９３０１７１９，ｐｐ５３−５６（１９９３−５）（「レーザレーダによる先行車認識アルゴリズム開発」）に記載の手法、或いは、本件出願人の出願にかかる特開平６−３０９６００号公報に記載の手法等がある。
【０００６】
例えば、自車と車両候補点群との距離の変化から自車に対する車両候補点群の相対速度を導出し、導出した相対速度が所定値よりも大きいときには、自車速度と先行車両候補の相対速度との差、自車に対する先行車両候補の車幅方向の位置ずれ量などの関数である適合度関数を用いて先行車両であることの確かさを表わす確信度を演算すると共に、レーザ光の走査方向及び自車の進行方向を座標軸とする座標系における車両候補点群の座標と相対速度を算出するごとに確信度の演算を繰り返し、確信度と基準値との差を累積加算してその加算合計値が他の基準値より大きいか否かを判断し、小さいときにその車両候補点群が同一レーン上を走行中と判断し、大きいときに同一レーン上にないと判断するものである。
【０００７】
【発明が解決しようとする課題】
しかし、これら従来の手法は、高速道路のように車両どうしの間隔や車両と路側構造物との間隔が広い場合にはほとんど問題はないが、これを一般道路に拡張しようとすると次のような課題が生じる。つまり、
第１の課題として、前方車両の近傍の走行車両または駐停車車両や路側物からの反射を、前方車両からの反射に含めて処理してしまい、前方車両の距離計測値に誤差が生じる、
第２の課題として、車両が存在しないときに、ガードレールの反射板や看板等の路側構造物からの反射も観測され、これらを駐停車車両や前方車両として誤認識することがある、
第３の課題として、一般的にレーダの水平検知視野は狭いため、近距離での割り込み車両等の検出が遅れる、
という課題がある。
【０００８】
更に、レーザレーダの場合、路面の水を前方車両がはね上げることでレーザ光が減衰し、前方車両を認識できなくなったり、隣接車線を走行する前方車両を観測車と同じ車線を走行する車両と判定したりするが、これらはレーザレーダ特有の課題や、その他の非常に高度な認識処理を要する課題であって、今回、本発明が解決しようとする課題ではない。
【０００９】
一方、従来、画像センサによる撮像画像を処理して車両認識する装置も提案されており、画像センサの場合、パターン認識能力は上記したレーザレーダよりも優れている。この種の装置では、例えば図１２に示すように、画像センサによる撮像画像に横長の注視領域を設定し、その注視領域における各画素の濃淡からＸ方向（水平方向）へのエッジヒストグラムＥＨｘ、これに直交するＹ方向（垂直方向）へのエッジヒストグラムＥＨｙ、及び両方向へのエッジヒストグラムの積ＥＨｘｙを演算し、車両候補領域を抽出することが提案されている。
【００１０】
しかしながら、画像センサの場合、複雑なシーンでは次のような課題がある。つまり、距離計測は先行車幅等、いくつかの仮定を設定することで近似計測できるだけで、カルマンフィルタ等の位置予測アルゴリズムに適用した場合に、予測値が安定しにくい。また、遠距離ではパターン認識力を十分に発揮することができず、至近距離では大きな車両の場合に全部を撮影できず、車両認識が困難になることがある。更に、複雑なシーンでは車両以外が作るエッジを車両と誤認識する場合があり、一時的な陰や曇りなどで見かけ画像が変化した場合には、車両認識が困難になることが多い。
【００１１】
そこで、本発明は、レーザレーダを用いた車両認識と、画像センサによる車両認識との融合により、前方車両以外の車両や路側物等からの反射を排除して、精度の高い認識を行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる前方車両認識装置は、自車の前方を走行する車両を認識する前方車両認識装置において、自車前方を撮像する画像センサと、前記画像センサによる撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する画像処理部と、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定するレーザレーダと、予め準備した各種のサンプル用車両のサンプル画像について前記画像処理部により導出された前記エッジヒストグラムのパターンと、前記各サンプル用車両について前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンを格納した格納部と、前記画像処理部により実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法の適用により次元圧縮して成る融合パターンが、前記格納部に格納されている前記各辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合部とを備えていることを特徴としている。
【００１３】
このような構成によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００１４】
また、本発明にかかる前方車両認識装置は、前記画像処理部が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出し、前記照合部が、前記画像処理部により前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する第１の作成部と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する第２の作成部と、前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成するフュージョン部とを備えていることを特徴としている。
【００１５】
このような構成によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【００１６】
また、本発明にかかる前方車両認識装置は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して前記画像処理部により導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、前記第１の作成部によりサイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対し前記レーザレーダにより特定された前記各反射点について、前記第２の作成部によりサイズを縮小して作成される辞書用レーザベクトルとが、前記フュージョン部により融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合部が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断することを特徴としている。
【００１７】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【００１８】
また、本発明にかかる前方車両認識装置は、前記照合部により前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして前記格納部に登録することを特徴としている。
【００１９】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【００２０】
また、本発明にかかる前方車両認識装置は、前記照合部が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用することを特徴としている。
【００２１】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【００２２】
また、本発明にかかる前方車両認識方法は、画像センサにより、撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する導出工程と、レーザレーダにより、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定する特定工程と、実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法により次元圧縮した融合パターンが、予め準備した各種のサンプル用車両について、そのサンプル画像から導出された前記エッジヒストグラムのパターンと、前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合工程とを含むことを特徴としている。
【００２３】
このような構成によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００２４】
また、本発明にかかる前方車両認識方法は、前記導出工程が、前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出する工程を含み、前記照合工程が、前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する工程と、前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する工程と、前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成する工程とを含むことを特徴としている。
【００２５】
このような構成によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことができる。
【００２６】
また、本発明にかかる前方車両認識方法は、前記辞書パターンが、前記各サンプル用車両のサンプル画像に対して、導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、サイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対して、前記レーザレーダにより特定された前記各反射点についてサイズを縮小して作成される辞書用レーザベクトルとが融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、前記照合工程が、実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する工程を含むことを特徴としている。
【００２７】
このような構成によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することができると共に、レーザレーダ単独の場合のような誤差の拡大を防止することができる。
【００２８】
また、本発明にかかる前方車両認識方法は、前記照合工程により、前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして登録する工程を含むことを特徴としている。
【００２９】
このような構成によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することができる。
【００３０】
また、本発明にかかる前方車両認識方法は、前記照合工程が、前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用する工程を含むことを特徴としている。
【００３１】
このような構成によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することができる。
【００３２】
【発明の実施の形態】
この発明の一実施形態について図１ないし図１０を参照して説明する。但し、図１はブロック図、図２ないし図１０は動作説明図である。
【００３３】
図１に示すように、スキャンレーザレーダ、そのスキャニング機構及び受光器から成るレーザレーダモジュール１、及び、画像センサである単眼ＣＣＤカメラから成る画像処理部としてのカメラモジュール２が自車に搭載され、レーザレーダモジュール１により、自車前方にレーザ光が水平方向にスキャンされつつ照射され、反射点からの反射光が受光されて複数個の反射点の位置が特定され、カメラモジュール２により自車の前方が撮像される。また、ＲＡＭ等から成る格納部としてのメモリ４には、後で詳述する辞書パターンとしての辞書フュージョンベクトルが格納されている。
【００３４】
更に、レーザレーダモジュール１により特定された反射点データ、及び、カメラモジュール２により得られた撮像画像がＣＰＵ３によりＲＡＭ等から成る図１には示されていない他のメモリに保存される。このとき、レーザレーダモジュール１によるデータと、カメラモジュール２によるデータを、メモリ４の辞書フュージョンベクトルの格納エリアとは異なるエリアに保存するようにしてもよい。
【００３５】
ところで、レーザレーダモジュール１及びカメラモジュール２の座標系の関係は、例えば図２に示すように設定する。つまり、図２に示すように、カメラ座標系は、レンズ中心を原点としてカメラ光軸をＺ軸にとり、画像面上でのｘ軸、ｙ軸に平行にＸ軸、Ｙ軸をとる。ここで、焦点距離ｆは既知である。
【００３６】
また、レーザレーダ座標系は、受光器を原点、レーザ光軸をＺR 軸にとり、鉛直方向にＹR 軸、水平方向にＸR 軸を設定する。ＸR ＹR ＺR 座標系からＸＹＺ座標系へは、回転ベクトルω、並進ベクトルＴの合成行列ωＴによって変換可能であり、後述するように、本発明ではレーザレーダモジュール１により特定される反射点の座標をカメラ座標に変換して照合する。但し、合成行列ωＴは予めキャリブレーションを行っており、既知である。
【００３７】
そして、カメラモジュール２のＣＣＤカメラにより自車前方が撮像され、従来と同様、図１２に示すように、カメラモジュール２によりその撮像画像に対して水平方向（Ｘ方向）に長い矩形の注視領域ＲＯＩ（図１２中の白枠の矩形領域）が設定され、その注視領域ＲＯＩにおける各画素の濃淡からＸ方向（水平方向）へのエッジヒストグラムＥＨｘ、これに直交するＹ方向（垂直方向）へのエッジヒストグラムＥＨｙ、及び両方向へのエッジヒストグラムの積ＥＨｘｙが演算される。
【００３８】
このとき、車両のリアガラスやリアバンパ付近はＹ方向エッジ成分を多く含むので、車両の後端面についてはＹ方向へのエッジヒストグラムＥＨｙが大きな値となるのに対し、電柱や街灯の柱、ガードレール等の道路構造物の場合、Ｘ方向へのエッジヒストグラムＥＨｘは大きくなるがＹ方向へのエッジヒストグラムＥＨｙは小さい値となる。そのため、Ｘ方向へのエッジヒストグラムＥＨｘとＹ方向へのエッジヒストグラムＥＨｙとを積算することで、車両後端面以外のエッジヒストグラムの極大点をある程度抑制することができ、逆に車両後端面のエッジヒストグラムの極大点を強調することができる。
【００３９】
従って、前フレームでの車両認識位置を基に計算した現フレームでの車両予測位置から、優先的にエッジヒストグラムの積ＥＨｘｙの極大点（ｘＬ，ｘＲ）を車両後端位置候補ペアとして切り出していき、区間（ｘＬ，ｘＲ）で所定のしきい値以上のＹ方向エッジＥｙ（図１２参照）を水平方向にカウントしたエッジヒストグラムＥＶｙを作成し、このＥＶｙ中の極大点で車間距離と推定車幅を考慮した車両上（下）端の近さの程度から車両上下端候補（ｙＵ，ｙＤ）を求める。こうすると、道路勾配変化による車両上下位置ずれに、ある程度対応することができる。この４点で定まる矩形が車両候補領域として抽出される。
【００４０】
そして、ＣＰＵ３により、この車両候補領域におけるＸ方向（水平方向）及びＹ方向（垂直方向）へのエッジヒストグラムそれぞれに基づき、サイズを縮小した照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルが作成される。このようなＣＰＵ３によるＸ，Ｙ方向ベクトルの作成処理が第１の作成部に相当する。
【００４１】
一方、レーザレーダモジュール１は、自車の前方にレーザ光を照射し、その際スキャニング機構により所定角度（例えば０．１゜）ずつレーザ光が水平方向にスキャンされ、自車前方の対象物からの反射光が受光器により受光されてレーザ光の照射から反射光の受光までの時間から、自車と同一車線を走行する先行車との車間距離が検出されるようになっている。このような１回の車間距離の検出処理に要する時間は、約１００ｍｓ程度の短い時間であり、この検出動作が一定時間毎に繰り返される。
【００４２】
更に、このような動作によりレーザレーダモジュール１により対象物上の複数の反射点が特定されると、例えば図３に示すように、その特定された各反射点の受光強度ヒストグラム（図３中の白色リスト）が形成され、ＣＰＵ３により、その受光強度ヒストグラムに基づき、サイズを縮小した分布パターンとしてのレーザベクトルが作成される。このとき、中遠距離からの反射点の場合、受光するレーザ本数が少ないことから、受光強度リスト値が欠落するため、欠落した位置には、欠落位置左右近辺の受光強度平均値で補填してある程度その距離での受光強度モデルへと形状を近づけておくのが望ましい。このようなＣＰＵ３によるレーザベクトルの作成処理が第２の作成部に相当する。
【００４３】
ところで、メモリ４には上記したように辞書パターンとしての複数の辞書フュージョンベクトルが格納されており、この辞書フュージョンベクトルは次のようにして得られる。例えば、図４に示すような各種のサンプル用車両を予め準備し、そのサンプル画像に対してカメラモジュール２により導出されたＸ方向へのエッジヒストグラムＥＨｘ及びＹ方向へのエッジヒストグラムＥＨｙに基づき、ＣＰＵ３により、サイズを縮小した辞書用Ｘ方向ベクトルｈｘ＿及び辞書用Ｙ方向ベクトルｈｙ＿が作成され、各種サンプル用車両に対しレーザレーダモジュール１により特定された各反射点について作成される受光強度ヒストグラムに基づき、ＣＰＵ３により、サイズを縮小した辞書用レーザベクトルｌｐ＿が作成され、これら辞書用Ｘ方向、Ｙ方向ベクトルｈｘ＿，ｈｙ＿及び辞書用レーザベクトルｌｐ＿が生データの段階で融合され、固有空間法の適用により次元圧縮されてフュージョンベクトルｖ＿が得られる。
【００４４】
このとき、辞書用Ｘ方向及びＹ方向ベクトルｈｘ＿，ｈｙ＿を、
ｈｘ＿＝〔ｈｘ１，ｈｘ２，ｈｘ３，…，ｈｘｍ〕…(1)
ｈｙ＿＝〔ｈｙ１，ｈｙ２，ｈｙ３，…，ｈｙｍ〕…(2)
と定義し、辞書用レーザベクトルｌｐ＿を、
ｌｐ＿＝〔ｌｐ１，ｌｐ２，ｌｐ３，…，ｌｐｎ〕…(3)
と定義すると、フュージョンベクトルｖ＿は、
ｖ＿＝〔ｈｘ＿，ｈｙ＿，ｌｐ＿〕Ｔ …(4)
と定義することができる。ここで、辞書用レーザベクトルｌｐ＿は様々な距離のモデルをＮ個準備しておく。即ち、フュージョンベクトルｖ＿は、ｄ次元（２×ｍ＋ｎ）であり、そのサンプル数はＭ×Ｎ個である。
【００４５】
そして、フュージョンベクトルｖ＿の共分散行列Ｑは、
Ｑ＝Ｅ｛（ｖ＿−ｍ＿）（ｖ＿−ｍ＿）Ｔ ｝…(5)
と表わされ、(5) 式中のｍ＿はｖ＿の平均ベクトルであって、
ｍ＿＝Ｅ｛ｖ＿｝…(6)
である。ここで、
Ｑｅj ＝λj ｅj …(7)
の固有値問題を解く。作成辞書をｋ次元とすると、ｋ個の大きな固有値に対応する固有ベクトルｅ＿は、
ｅ＿＝｛ｅ１＿，ｅ２＿，ｅ３＿，…，ｅｋ＿｝…(8)
で定義される。尚、ｋの値は、
α＝Σｋ ｊ＝１λｊ／Σｄ ｊ＝１λｊ…(9)
の式で表わされる累積寄与率αが０．９以上になる最小値とする。
【００４６】
更に、ｄ次元のフュージョンベクトルｖ＿は、(8) 式で表わされる固有ベクトルｅ＿を用いて、
ｕ＿＝〔ｅ１＿，ｅ２＿，ｅ３＿，…，ｅｋ＿〕Ｔｖ＿…(10)
の式により、ｋ次元の主成分ベクトルｕ＿に圧縮することができ、この主成分ベクトルｕ＿を準備した全てのフュージョンベクトルｖ＿に対して予め計算し、辞書フュージョンベクトルとしてメモリ４に登録、蓄積しておくのである。
【００４７】
そして、上記した辞書用Ｘ方向、Ｙ方向ベクトルｈｘ＿，ｈｙ＿及び辞書用レーザベクトルｌｐ＿の作成と同様にして、実走行時の車両候補領域について、ＣＰＵ３により、Ｘ方向、Ｙ方向ベクトル及びレーザベクトルが作成されると共に、これらが生データの段階で融合され、固有空間法の適用により次元圧縮されて融合パターンとしてのフュージョンベクトルが作成される。ここで、画像データとレーザデータとを融合するには、図５に示すように、ＣＣＤカメラの検知範囲とレーザレーダの検知範囲とが重なっていることが前提となる。このようなＣＰＵ３によるフュージョンベクトルの作成処理がフュージョン部に相当する。
【００４８】
更に、ＣＰＵ３により、実走行時のフュージョンベクトルと、メモリ４に蓄積されている辞書フュージョンベクトルとが照合され、実走行時のフュージョンベクトルに対応する車両後方領域が前方車両かどうかの判断がなされる。このとき、ＣＰＵ３により、実走行時における車両候補領域のフュージョンベクトルが上記した(10)式により車両固有空間に投影され、辞書フュージョンベクトルとの距離が導出され、その距離の特徴空間上でのユークリッド距離が予め定められたしきい値よりも小さければ車両候補領域が前方車両であると判断され、大きければ非車両と判断されるのである。このように、フュージョンベクトルの作成まで含めたＣＰＵ３による一連の照合処理が照合部に相当する。
【００４９】
また、ＣＰＵ３により、前方車両であると判断された車両候補領域のフュージョンベクトルは、辞書フュージョンベクトルとしてメモリ４に登録される。こうすることで、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【００５０】
更に、前方車両であると判断された車両候補領域について、ＣＰＵ３により、カルマンフィルタによる動き予測が行われ、次回の照合処理に利用され、こうすることによって、より精度の高い車両認識を実現することができるのである。
【００５１】
次に、ＣＰＵ２による車両の認識処理手順について、図６に示すフローチャートを参照して説明する。図６に示すように、自車の走行中にＣＣＤカメラにより撮像された自車前方の画像中の注視領域について、カメラモジュール２により上記したようにエッジヒストグラムＥＨｘ，ＥＨｙ，ＥＨｘｙが計算され（Ｓ１）、そのエッジヒストグラムＥＨｘｙの極大点が求められ、その極大点と前回の認識結果とに基づき車両候補領域が抽出される。
【００５２】
更に、図６に示すように、レーザレーダモジュール１によりレーザ光の反射点が特定されて受光強度ヒストグラムが導出され（Ｓ２）、ＣＰＵ３により、車両候補領域についてのＸ，Ｙ方向ベクトル及びレーザベクトルが作成されると共に、これらのベクトルが融合されてフュージョンベクトルが作成され（Ｓ３）、車両候補領域のフュージョンベクトルと、メモリ４に蓄積されている複数の辞書フュージョンベクトルとが照合される（Ｓ４）。
【００５３】
そして、その車両候補領域のフュージョンベクトルとの距離が所定のしきい値以下になる辞書フュージョンベクトル存在するかどうかにより、車両候補領域が車両であるか否かの判定がなされ（Ｓ５）、この判定結果がＮＯであればその車両候補領域は非車両であるとして却下され（Ｓ６）、判定結果がＹＥＳであれば、その車両候補領域は車両であると予測され（Ｓ７）、例えば先行車両との車間距離を所定値に保持して追従走行する場合の制御などに使用される。尚、ステップＳ７の後は、上記したステップＳ３に戻り、次フレームからは、その矩形領域について優先的にカルマンフィルタによる追跡が行われる。
【００５４】
こうして、実走行時における連続シーンとして、例えば図７〜図９に示すような画像が撮像されたとすると、図７に示すように車両と路側構造物である壁からのレーザ反射点が近接しているシーンでは、従来のようにレーザレーダ単独ではクラスタリングが困難であり、画像センサ単独では車両部の切り出しが困難で距離精度の悪化を招いていたのに対し、上記した本発明の手法によれば、図７〜図９中の白線矩形に示すように、車両認識に成功していることがわかる。また、図９に示すように、レーザ検知範囲内にガードレールが存在する場合であっても、従来のようにレーザレーダ単独ではガードレールを車両と誤認識していたのに対し、上記した本発明の手法によれば、車両認識に成功していることがわかる。
【００５５】
更に、図１０は同じ車両に対する車両信頼度Ｒの比較を示しており、実線が本発明における融合の場合、点線が従来の画像のみの場合であり、本発明の手法の方が信頼度Ｒの高いことがわかる。
【００５６】
従って、上記した実施形態によれば、実走行時に、画像処理部により導出されるエッジヒストグラムに基づくＸ，Ｙ方向ベクトルと、レーザレーダにより特定される各反射点の受光強度ヒストグラムに基づくレーザベクトルとを融合して得られるフュージョンベクトルが、メモリ４に蓄積されている各辞書フュージョンベクトルと照合され、前方車両かどうかが判断されるため、レーザレーダ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することができる。
【００５７】
更に、学習により、辞書フュージョンベクトルとしての精度を高めることができ、前方車両の認識精度を向上することができる。
【００５８】
なお、上記した実施形態では、画像センサとして単眼ＣＣＤカメラを用いた場合について説明したが、画像センサは上記した単眼ＣＣＤカメラに限定されるものでないのはいうまでもない。更に、格納部も上記したＲＡＭなどから成るメモリ４に限定されるものではない。
【００５９】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００６０】
【発明の効果】
以上のように、請求項１、６に記載の発明によれば、レーザレーダは距離測定に優れ、画像センサは車両とそれ以外を精度よく識別できることから、実走行時に、画像処理部により導出されるエッジヒストグラムに基づく照合パターンと、レーザレーダにより特定される各反射点の分布パターンとを、生データの段階で融合して固有空間法により次元圧縮した融合パターンが、格納部の各辞書パターンのうちのいずれかにほぼ一致するかどうか照合され、前方車両かどうかが判断されるため、レーザレーザ単独の場合のように、前方車両以外の車両や路側物等からの反射を前方車両からの反射に含めてしまうことを防止でき、しかも画像センサの場合のような複雑なシーンにおける車両の誤認識の頻度を低減でき、前方車両を高精度に認識することが可能になり、より高度でより快適な運転支援システムを提供することができる。
【００６１】
また、請求項２、７に記載の発明によれば、画像処理により得られる照合パターンとしてのＸ方向ベクトル及びＹ方向ベクトルと、レーザレーダによる反射点の受光強度ヒストグラムから得られる分布パターンとしてのレーザベクトルとが融合されて固有空間法により次元圧縮され、融合パターンとしてのフュージョンベクトルが形成されるため、レーザと画像それぞれのセンサ生データの段階でデータを融合したものを次元圧縮することで、パターン認識の精度を向上することができ、複雑なシーンであっても前方車両の認識を高精度に行うことが可能になる。
【００６２】
また、請求項３、８に記載の発明によれば、実走行時における車両候補領域のフュージョンベクトルと、辞書フュージョンベクトルとの距離から、車両候補領域が前方車両であるかどうか判断するため、複雑なシーンであっても、画像センサ単独の場合のような誤認識の頻度を大幅に低減することが可能になると共に、レーザレーダ単独の場合のような誤差の拡大を防止することが可能になる。
【００６３】
また、請求項４、９に記載の発明によれば、辞書フュージョンベクトルとしての精度を高めることで、前方車両の認識精度を向上することが可能になる。
【００６４】
また、請求項５、１０に記載の発明によれば、前方車両と判断した車両候補領域の動きを予測して次回の照合処理に利用するため、より精度の高い車両認識を実現することが可能になる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】この発明の一実施形態の動作説明図である。
【図４】この発明の一実施形態の動作説明図である。
【図５】この発明の一実施形態の動作説明図である。
【図６】この発明の一実施形態の動作説明図である。
【図７】この発明の一実施形態の動作説明図である。
【図８】この発明の一実施形態の動作説明図である。
【図９】この発明の一実施形態の動作説明図である。
【図１０】この発明の一実施形態の動作説明図である。
【図１１】この発明の背景となるスキャンレーザレーダによる反射点検出の動作説明図である。
【図１２】この発明の背景となる画像センサによる車両認識の動作説明図である。
【符号の説明】
１ レーザレーダモジュール
２ カメラモジュール（画像処理部）
３ ＣＰＵ（照合部、第１の作成部、第２の作成部、フュージョン部）
４ メモリ（格納部）
Claims (10)
- 自車の前方を走行する車両を認識する前方車両認識装置において、
自車前方を撮像する画像センサと、
前記画像センサによる撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する画像処理部と、
自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定するレーザレーダと、
予め準備した各種のサンプル用車両のサンプル画像について前記画像処理部により導出された前記エッジヒストグラムのパターンと、前記各サンプル用車両について前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンを格納した格納部と、
前記画像処理部により実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法の適用により次元圧縮して成る融合パターンが、前記格納部に格納されている前記各辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合部と
を備えていることを特徴とする前方車両認識装置。 - 前記画像処理部が、
前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出し、
前記照合部が、
前記画像処理部により前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する第１の作成部と、
前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する第２の作成部と、
前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成するフュージョン部と
を備えていることを特徴とする請求項１に記載の前方車両認識装置。 - 前記辞書パターンが、
前記各サンプル用車両のサンプル画像に対して前記画像処理部により導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、前記第１の作成部によりサイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対し前記レーザレーダにより特定された前記各反射点について、前記第２の作成部によりサイズを縮小して作成される辞書用レーザベクトルとが、前記フュージョン部により融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、
前記照合部が、
実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する
ことを特徴とする請求項２に記載の前方車両認識装置。 - 前記照合部により前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして前記格納部に登録する
ことを特徴とする請求項３に記載の前方車両認識装置。 - 前記照合部が、
前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用することを特徴とする請求項２ないし４のいずれかに記載の前方車両認識装置。 - 自車の前方を走行する車両を認識する前方車両認識方法において、
画像センサにより、撮像画像に対して所定の注視領域を設定しその注視領域における各画素の所定方向への濃度投影値であるエッジヒストグラムを導出する導出工程と、
レーザレーダにより、自車前方にレーザ光を水平方向にスキャンしつつ照射すると共に反射点からの反射光を受光して複数個の前記反射点の位置を特定する特定工程と、
実走行時に導出される前記エッジヒストグラムに基づく照合パターンと、前記レーザレーダにより実走行時に特定される前記各反射点の分布パターンとを融合し固有空間法により次元圧縮した融合パターンが、予め準備した各種のサンプル用車両について、そのサンプル画像から導出された前記エッジヒストグラムのパターンと、前記レーザレーダにより特定された複数の反射点の受光強度ヒストグラムのパターンとを融合し固有空間法により次元圧縮して得られる複数の辞書パターンのうちのいずれかにほぼ一致するかどうか照合して前方車両かどうかを判断する照合工程と
を含むことを特徴とする前方車両認識方法。 - 前記導出工程が、
前記撮像画像に対して設定した前記注視領域における各画素の濃淡から画面のＸ方向へのエッジヒストグラム、これに直交する画面のＹ方向へのエッジヒストグラム及び両方向へのエッジヒストグラムの積を演算してその極大点を導出することで車両候補領域を抽出する工程を含み、
前記照合工程が、
前記車両候補領域において導出される前記Ｘ方向及びＹ方向へのエッジヒストグラムそれぞれに基づき、サイズを縮小したＸ方向ベクトル及びＹ方向ベクトルを前記照合パターンとして作成する工程と、
前記レーザレーダにより前記車両候補領域において特定される前記各反射点の受光強度ヒストグラムを形成し、その受光強度ヒストグラムに基づき、サイズを縮小したレーザベクトルを前記分布パターンとして作成する工程と、
前記車両候補領域における前記Ｘ方向ベクトル、Ｙ方向ベクトル及びレーザベクトルに基づき、固有空間法の適用により次元圧縮して成る前記車両候補領域のフュージョンベクトルを前記融合パターンとして形成する工程とを含む
ことを特徴とする請求項６に記載の前方車両認識方法。 - 前記辞書パターンが、
前記各サンプル用車両のサンプル画像に対して、導出された前記Ｘ方向及びＹ方向へのエッジヒストグラムに基づき、サイズを縮小して作成される辞書用Ｘ方向及びＹ方向ベクトルと、前記サンプル用車両に対して、前記レーザレーダにより特定された前記各反射点についてサイズを縮小して作成される辞書用レーザベクトルとが融合され固有空間法により次元圧縮されて得られる辞書フュージョンベクトルから成り、
前記照合工程が、
実走行時における前記車両候補領域の前記フュージョンベクトルと、前記辞書フュージョンベクトルとの距離を導出し、その距離が予め定められたしきい値よりも小さいかどうかにより前記車両候補領域が前方車両であるかどうか判断する工程を含む
ことを特徴とする請求項７に記載の前方車両認識方法。 - 前記照合工程により、前方車両であると判断された前記車両候補領域の前記フュージョンベクトルを、前記辞書フュージョンベクトルとして登録する工程を含むことを特徴とする請求項８に記載の前方車両認識方法。
- 前記照合工程が、
前方車両と判断した前記車両候補領域についてカルマンフィルタによる動き予測を行い、次回の照合処理に利用する工程を含むことを特徴とする請求項７ないし９のいずれかに記載の前方車両認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290760A JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290760A JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003099762A JP2003099762A (ja) | 2003-04-04 |
| JP4070437B2 true JP4070437B2 (ja) | 2008-04-02 |
Family
ID=19113017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001290760A Expired - Fee Related JP4070437B2 (ja) | 2001-09-25 | 2001-09-25 | 前方車両認識装置及び認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4070437B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003172780A (ja) * | 2001-12-06 | 2003-06-20 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP2003315458A (ja) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| JP3941765B2 (ja) * | 2003-09-11 | 2007-07-04 | トヨタ自動車株式会社 | 物体検出装置 |
| DE102004052347A1 (de) * | 2004-10-28 | 2006-05-04 | Daimlerchrysler Ag | Erfassung von Umgebungsinformationen im Nahbereich eines Fahrzeuges mittels RADAR und Evidenz-Histogramm |
| JP4426436B2 (ja) * | 2004-12-27 | 2010-03-03 | 株式会社日立製作所 | 車両検知装置 |
| US7454058B2 (en) * | 2005-02-07 | 2008-11-18 | Mitsubishi Electric Research Lab, Inc. | Method of extracting and searching integral histograms of data samples |
| JP4710437B2 (ja) * | 2005-07-01 | 2011-06-29 | トヨタ自動車株式会社 | 対象物探索装置 |
| JP4753765B2 (ja) * | 2006-03-30 | 2011-08-24 | ダイハツ工業株式会社 | 障害物認識方法 |
| JP5185554B2 (ja) * | 2007-03-23 | 2013-04-17 | 富士重工業株式会社 | オンラインリスク学習システム |
| JP5592308B2 (ja) | 2011-05-19 | 2014-09-17 | 富士重工業株式会社 | 環境認識装置 |
| JP2012243051A (ja) | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
| KR101361599B1 (ko) * | 2011-09-30 | 2014-02-25 | 성균관대학교산학협력단 | 주행 가능 영역 제공 장치, 방법 및 시스템 |
| KR101348944B1 (ko) * | 2011-12-30 | 2014-01-16 | 한국과학기술연구원 | 무인주행차량을 위한 교차로 검출 방법 및 이를 이용한 무인주행차량 |
| KR101348941B1 (ko) * | 2011-12-30 | 2014-01-16 | 한국과학기술연구원 | 무인주행차량을 위한 도로정보 검출 방법 및 이를 이용한 무인주행차량 |
| KR101534927B1 (ko) | 2013-10-08 | 2015-07-07 | 현대자동차주식회사 | 차량 인지 장치 및 방법 |
| KR101342124B1 (ko) | 2013-10-18 | 2013-12-19 | 주식회사 지티 | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 |
| JP7111454B2 (ja) * | 2017-09-28 | 2022-08-02 | 株式会社デンソー | 制御対象車両設定装置、制御対象車両設定システムおよび制御対象車両設定方法 |
| KR102545105B1 (ko) * | 2018-10-10 | 2023-06-19 | 현대자동차주식회사 | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 |
| US11891086B2 (en) * | 2019-05-13 | 2024-02-06 | Hitachi Astemo, Ltd. | Vehicle control system |
| CN110803107B (zh) * | 2019-10-16 | 2021-06-29 | 中国第一汽车股份有限公司 | 一种流媒体后视镜切换控制方法、流媒体后视镜及汽车 |
| CN112634269B (zh) * | 2021-01-14 | 2023-12-26 | 华东交通大学 | 一种轨道车辆车体检测方法 |
| CN113075716A (zh) * | 2021-03-19 | 2021-07-06 | 地平线(上海)人工智能技术有限公司 | 基于图像的车辆定位方法和装置、存储介质以及电子设备 |
| CN113534824B (zh) * | 2021-07-21 | 2023-04-25 | 中国科学院沈阳自动化研究所 | 面向水下机器人集群的视觉定位与近距离密集编队方法 |
-
2001
- 2001-09-25 JP JP2001290760A patent/JP4070437B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003099762A (ja) | 2003-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4070437B2 (ja) | 前方車両認識装置及び認識方法 | |
| KR102022388B1 (ko) | 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 | |
| KR102029850B1 (ko) | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 | |
| US7612800B2 (en) | Image processing apparatus and method | |
| JP4426436B2 (ja) | 車両検知装置 | |
| US7684590B2 (en) | Method of recognizing and/or tracking objects | |
| Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
| US7974442B2 (en) | Vehicular vision system | |
| JP4246766B2 (ja) | 車両から対象物を位置測定して追跡する方法および装置 | |
| US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
| US10776637B2 (en) | Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium | |
| JP3727400B2 (ja) | 横断者の検出装置 | |
| JP2003084064A (ja) | 前方車両の認識装置及び認識方法 | |
| JPH07129898A (ja) | 障害物検出装置 | |
| JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
| CN114118252A (zh) | 一种基于传感器多元信息融合的车辆检测方法及检测装置 | |
| JP4969359B2 (ja) | 移動物認識装置 | |
| JP2007233440A (ja) | 車載用画像処理装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| CN113327192B (zh) | 一种通过三维测量技术测算汽车行驶速度的方法 | |
| JPH10232936A (ja) | 物体認識方法およびその装置 | |
| Hwang et al. | Vehicle detection system design based on stereo vision sensors | |
| JP3517999B2 (ja) | 車両認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080115 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |