JP4753765B2 - 障害物認識方法 - Google Patents

Description

本発明は、車両に備えたレーダとカメラとによって自車前方をくり返し探査し、レーダとカメラとのセンサフュージョンの認識処理により、自車前方の先行車等の障害物を認識する障害物認識方法に関するものである。

一般に、ＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）等を搭載した車両においては、いわゆる被害軽減自動ブレーキ機能を実現するため、自車前方の先行車や標識等の障害物を認識することが要求される。

しかしながら、従来のＡＣＣ搭載車両においては、多くの場合、ＡＣＣの自車前方の情報を得るセンサが、レーザレーダやミリ波レーダといった単一センサで構成されるため、障害物の認識が高速道路などの比較的認識し易いシーンでしか行なえない不都合があった。

また、 複数のセンサを利用したセンサフュージョンの認識処理により、認識性能を向上して前記の不都合を解消し、種々の走行シーンで自車前方の障害物を認識するようにした場合は、 各センサがまったく同時刻のデータをサンプリングするのではなく、各センサの探査、検出に数十ミリ秒（ｍｓ）程度のずれがあり、レーダ探査とカメラ撮影の座標のずれの影響を避けることができず、認識精度の向上が図られない等の問題があった。

そこで、本出願人は、レーダの測距結果とカメラの撮影画像とに基づくセンサフュージョンの認識処理により、レーダ探査とカメラ撮影の座標のずれの影響を受けること等なく自車前方の先行車等の障害物を精度よく認識することができる障害物認識方法及び障害物認識装置を既に出願している（例えば、特許文献1参照）。

この既出願の障害物認識方法及び障害物認識装置は、概略、車両に備えたレーダとカメラとによって自車前方をくり返し探査し、レーダの探査結果に基づく自車前方の先行車を含む障害物等までの測距距離の変化からレーダ側検出倍率を求め、カメラの自車前方の撮影結果の画像処理によりカメラの自車前方の撮影画像の水平、垂直の画像ヒストグラムの各倍率の基準の画像ヒストグラムとの残差和の最小値に基づいてカメラ側検出倍率を求め、レーダとカメラとのセンサフュージョンの認識処理により、前記残差和が最小値になる水平、垂直の倍率が等しくなるか否かから撮影画像の障害物の領域（候補領域）の画像が先行車等の路面垂直物か否かを判別し、レーダ側検出倍率とカメラ側検出倍率とが等しくなる路面垂直物を障害物として認識する。

この場合、障害物であれば、撮影画像上で水平、垂直の両方向に同倍率で拡大縮小変化し、しかも、水平、垂直の同じ倍率で前記残差和が最小値になる。一方、障害物でなく、路面のマンホールの蓋やキャッツアイ（鋲）等であれば、撮影画像上で水平、垂直方向に同倍率では変化せず、しかも、水平、垂直の前記残差和が最小値になる倍率が異なる。

そのため、水平と垂直の画像ヒストグラムの残差和最小値の倍率が等しくなるか否かにより、候補領域の候補対象が路面上に存在する障害物等の路面垂直物か否かを判別し、さらに、カメラ側検出倍率とレーダ側検出倍率の一致、不一致から、路面垂直物が障害物か否かを判別し、前記候補領域の候補対象の画像から障害物を認識することができる。

そして、簡単で計算量が少ない画像エッジの水平、垂直のヒストグラムの演算を行なえばよく、簡単で計算量の極めて少ない画像処理の演算で済み、しかも、レーダとカメラの前記座標のずれが自動的に考慮されて認識される等の利点がある。

特開２００５−３２９７７９号公報（要約書、請求項１、１３、段落［００５５］−［０１２３］、図１等）

前記既出願の障害物認識方法及び障害物認識装置の場合、カメラ側検出倍率とレーダ側検出倍率とを比較しそれらの一致、不一致から路面垂直物が障害物か否かを判別して障害物を認識するが、カメラとレーダとでは検出手法が異なり、カメラは即時に撮影結果が得られるが、レーダは自車前方をスキャンしてから探査結果が得られるため、たとえカメラとレーダとで同時に検出を開始しても、レーダの検出がカメラの検出より遅れる。

そのため、レーダ側検出倍率とカメラ側検出倍率との比較を、正確に同じ時刻のレーダとカメラの検出結果に基づいて行うことは困難である。

したがって、実際にはレーダとカメラが先行車等の障害物をしっかり捉えているのにもかかわらず、レーダ側検出倍率とカメラ側検出倍率とが不一致となり、障害物でないと判別する可能性がある。

本発明は、レーダとカメラの検出の時間ずれに起因したレーダ側検出倍率とカメラ側検出倍率と不一致に基づく誤認識（障害物でないとの誤認識）を極力回避するようにして自車前方の障害物の認識精度を向上することを目的とする。また、同時に認識対象が明らかに路面垂直物でないときの誤認識を確実に防止することも目的とする。

上記した目的を達成するために、本発明の障害物認識方法は、車両に備えたレーダとカメラとによって自車前方をくり返し探査し、前記レーダの探査結果に基づく自車前方の先行車を含む障害物等までの測距距離の変化からレーダ側検出倍率を求め、前記カメラの自車前方の撮影結果の画像処理により前記カメラの自車前方の撮影画像の水平、垂直の画像ヒストグラムの各倍率の基準の画像ヒストグラムとの残差和の最小値に基づいてカメラ側検出倍率を求め、前記レーダと前記カメラとのセンサフュージョンの認識処理により、前記残差和が最小値になる水平、垂直の倍率が等しくなるか否かから前記撮影画像の前記障害物の領域の画像が先行車等の路面垂直物か否かを判別し、前記レーダ側検出倍率と前記カメラ側検出倍率とが等しくなる前記路面垂直物を前記障害物として認識する障害物認識方法において、前記水平、垂直の画像ヒストグラムの前記残差和が最小値になる水平、垂直の倍率が略等しいことを条件に、前記レーダ側検出倍率と前記カメラ側検出倍率との所定範囲内の誤差を許容して前記レーダ側検出倍率と前記カメラ側検出倍率とが等しいと判断し、前記路面垂直物を前記障害物と認識することを特徴としている（請求項１）。

また、本発明の障害物認識方法は、前記請求項１記載の障害物認識方法において、前記残差和が最小値になる水平、垂直の倍率が略等しく、該両倍率がいずれも前記レーダ側検出倍率より大きくなって前記障害物の近距離接近を検出したときに、前記カメラ側検出倍率と前記レーダ側検出倍率とが等しいと判断する前記誤差の範囲を拡大することを特徴としている（請求項２）。

さらに、本発明の障害物認識方法は、前記レーダ側検出倍率が、前記残差和が最小値になる水平、垂直の倍率のいずれよりも大きくなり、かつ、前記レーダ側検出倍率と前記残差和が最小値になる水平、垂直の倍率それぞれとの差のいずれかでも設定されたしきい値より大きくなって前記障害物の領域の画像が前記路面垂直物でない可能性が高いときには、前記カメラ側検出倍率と前記レーダ側検出倍率とが等しいと判断する前記誤差の範囲を狭くすることを特徴としている（請求項３）。

まず、請求項１の構成によれば、水平、垂直の画像ヒストグラムの残差和が最小値になる水平、垂直の倍率が略等しいことを条件に、レーダ側検出倍率とカメラ側検出倍率との差を所定範囲内で許容して自車前方の障害物を認識するため、レーダとカメラの検出の時間ずれがあっても、そのずれを許容し、レーダとカメラの検出の時間ずれに起因したレーダ側検出倍率とカメラ側検出倍率と不一致に基づく誤認識（障害物でないとの誤認識）を極力回避することができる。

その際、水平、垂直の画像ヒストグラムの前記残差和が最小値になる倍率が略等しいことを条件に、レーダ側検出倍率とカメラ側検出倍率との差を所定範囲内で許容するため、この許容によって路面のマンホールの蓋やキャッツアイ（鋲）等の路面反射物等でないものを障害物として誤認識することが極力回避される。

したがって、路面のマンホールの蓋やキャッツアイ（鋲）等の路面反射物でないものを障害物として誤認識することなく、レーダ及びカメラが先行車等の障害物をしっかり捉えているときに障害物でないと誤認識されてしまう事態の発生を防止することができ、障害物の認識精度を向上することができる。

つぎに、請求項２の構成によれば、レーダとカメラの検出の時間ずれがより大きくなる障害物の接近時には、最新のカメラ側の水平、垂直の倍率がいずれも最新のレーダ側検出倍率より大きくなることから、カメラ側検出倍率とレーダ側検出倍率とが等しいと判断する前記誤差の範囲を拡大し、レーダとカメラの検出の時間ずれに起因した前記の誤認識を一層確実に回避することができ、障害物の認識精度を一層向上することができる。

さらに、請求項３の構成によれば、最新のレーダ側検出倍率が最新のカメラ側の水平、垂直の倍率のいずれよりも大きくなり、しかも、レーダ側検出倍率とカメラ側の水平、垂直の倍率それぞれとの差のいずれかでも設定されたしきい値より大きくなり、明らかに認識対象が路面垂直物でない可能性が高いときには、前記誤差の範囲を逆に狭くして障害物であるとの誤認識を確実に防止して障害物の認識精度をさらに一層向上することができる。

つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図１４にしたがって詳述する。

図１は車両（自車）１に搭載された障害物認識装置のブロック図、図２は動作説明用のフローチャート、図３はその一部の詳細なフローチャート、図４はレーザレーダ２の測距結果に基づく候補領域検出の説明図、図５は単眼カメラ３の撮影画像のエッジ画像処理の説明図、図６は図４のエッジ画像から得られたエッジヒストグラムの１例の説明図である。

また、図７は画像処理の説明図、図８、図９は倍率計算説明用の走行模式図、カメラ撮影倍率の模式図であり、図１０は水平、垂直の残差和（個別残差和）及びそれらを統合した残差和（統合残差和）の１例の特性図、図１１は図２の他の一部の詳細なフローチャート、図１２は計算された倍率の１例の特性図である。

さらに、図１３は障害物が自車前方の比較的離れた距離にあるときのレーダ側検出倍率とカメラ側検出倍率の検出時間ずれの影響の説明図、図１４は障害物が接近したときのレーダ側検出倍率とカメラ側検出倍率の検出時間ずれの影響の説明図である。

（構成）
図１の障害物認識装置は、車両１に自車前方を探査する測距用のレーダとして、電波レーダに比して安価な汎用のスキャニングレーザレーダ（以下、単に「レーザレーダ」という）２を備え、自車前方を撮影するカメラ（画像センサ）として、小型かつ安価なモノクロＣＣＤカメラ構成の単眼カメラ３を備える。なお、レーザレーダ２に代えてミリ波レーダ等の電波レーダを備えてもよいのは勿論である。

そして、イグニッションキーによる自車１のエンジン始動後、レーザレーダ２はレーザパルスを掃引照射して自車前方をくり返し探査し、自車前方の測距結果の信号を自車１のマイクロコンピュータ構成の制御ＥＣＵ４に出力し、単眼カメラ３は自車前方を連続的に撮像し、その撮影画像の例えば画素当たり８ビットの輝度データの信号を制御ＥＣＵ４に出力する。

この制御ＥＣＵ４は種々の情報（データ）を読み書き自在に保持するメモリユニット５とともに後述の認識処理手段としての認識演算部６を形成し、レーザレーダ２と単眼カメラ３とのセンサフュージョンの認識処理により、後述の残差和が最小値になる水平、垂直の倍率が等しくなるか否かから撮影画像の障害物の領域の画像が先行車等の路面垂直物か否かを判別し、レーダ側検出倍率とカメラ側検出倍率とが等しくなる路面垂直物を先行車等の障害物として認識するため、前記のエンジンスタートに基づき、予め設定された図２のステップＳ１〜Ｓ７の障害物認識プログラムを実行し（ステップＳ４においては、図３のステップＳ４１〜Ｓ４５を実行し）、ソフトウエア構成のつぎの（ａ）〜（ｈ）の各手段を備える。

（ａ）候補領域設定手段
この手段は、レーザレーダ２の最新の測距結果をクラスタリング処理して自車前方に障害物の候補領域を設定する。具体的には、レーザレーダ２の多数個の反射点の距離計測データに基き、距離の近い反射点同士をクラスタリング処理し、図４（ａ）の単眼カメラ３の撮影画像Ｐの画面図に示すように、レーザレーダ２の探査範囲内に、枠線で囲まれた１又は複数個のクラスタ領域を形成し、そのうちの障害物の特徴に適合したクラスタ領域を先行車等の障害物の候補領域Ｃｃに設定する。

このとき、図４（ｂ）のレーダ測距領域の模式図に示すように、通常は、候補領域Ｃｃによって、図中の枠で囲んだ先行車等の自車前方の障害物が捕捉される。

（ｂ）相対距離計測手段
この手段は、候補領域Ｃｃのレーダ探査の測距結果から自車１と候補領域Ｃｃの障害物の候補対象αとの時々刻々の相対距離Ｚを計測する。

（ｃ）ヒストグラム演算手段
この手段は、単眼カメラ３の最新の撮影画像Ｐの物標特徴量としての候補領域Ｃｃの水平、垂直の二値化された画像エッジのヒストグラムを、水平、垂直の最新エッジヒストグラムＹ、Ｘとして算出し、さらに、候補対象特徴量として更新自在に保持された既記憶の水平、垂直の二値化された画像エッジのヒストグラムＹｍ、Ｘｍを設定範囲の各倍率Ｋ、（０＜Ｋｍｉｎ≦Ｋ≦Ｋｍａｘ、Ｋｍｉｎ：最小値、Ｋｍａｘ：最大値）でそれぞれの横軸方向に拡大縮小して各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ（＝Ｋ・Ｙｍ）、Ｘｒ（＝Ｋ・Ｘｍ）を算出する。

このとき、制御ＥＣＵ４の計算処理の負担を軽減して高速化を図るため、水平、垂直の最新エッジヒストグラムＹ、Ｘは、カメラの最新の撮影画像Ｐを微分して二値化した水平、垂直それぞれの画像エッジ情報の加算により形成される。

具体的には、撮影画像Ｐが得られるフレーム毎に、最新の撮影画像Ｐの候補領域Ｃｃの８ビット／画素の輝度データを水平、垂直両方向に微分二値化処理し、図５に示すように、候補領域Ｃｃの８ビット／画素の原画像を同図のエッジ画像（灰色部分が水平エッジ、白色部分が垂直エッジ）に変換し、このエッジ画像を２値化して先行車等の障害物を候補対象αとする水平、垂直の１ビット／画素の画像エッジ情報を得る。

さらに、図６に示すように、水平、垂直の画像エッジ情報を、水平の画像エッジについては水平方向に、垂直の画像エッジについては垂直方向にそれぞれ加算し、横軸を垂直方向、水平方向それぞれの画素位置とする水平、垂直の最新エッジヒストグラムＹ、Ｘを形成する。

つぎに、図７に示すように候補対象特徴量としての既記憶の水平、垂直の二値化された画像エッジのヒストグラム（既記憶エッジヒストグラム）Ｙｍ、Ｘｍは、両ヒストグラムＹｍ、Ｘｍをそれぞれの横軸方向（位置方向）にＫ倍して形成する水平、垂直の各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒの突発的な変動の影響等を抑えるため、以前に算出された既フレームの水平、垂直の各エッジヒストグラムの重み付け加算平均により形成する。

ところで、倍率Ｋと相対距離Ｚとはつぎの関係がある。

すなわち、図８の走行模式図に示すように、障害物としての先行車７の相対距離Ｚが、時刻ｔにＺ、時刻ｔ＋ΔｔにＺ＋ΔＺになり、図９の撮影模式図において、実際の車幅Ｗが、単眼カメラ３の撮影面上で時刻ｔ、ｔ＋Δｔに車幅Ｋ・ω、ωになるとすると、相対距離Ｚ、Ｚ＋ΔＺはそれぞれ単眼カメラ３のレンズ焦点から先行車７までの距離であり、単眼カメラ３のレンズ焦点からＣＣＤ受光面（像面）までの距離をＣｆとした場合、つぎの（１）式、（２）式が成立し、相対距離Ｚと倍率Ｋとの関係が（３）式で表される。

Ｃｆ：ω＝（Ｚ＋ΔＺ）：Ｗ （１）式

Ｃｆ：Ｋ・ω＝Ｚ：Ｗ （２）式

Ｚ＝ΔＺ／（Ｋ−１） （３）式

また、Ｋｍｉｎ、Ｋｍａｘは、つきの（４）式、（５）式のように設定する。これらの式において、Ｚは相対距離、ΔＺ＿ｍａｘは相対距離Ｚの最大変化量（自車１が最大加速で先行車７が最大減速の状態での変化量）、ΔＺ＿ｍｉｎは相対距離Ｚの最小変化量（自車１が最大減速で先行車７が最大加速の状態での変化量）であり、前記の最大加速、最大減速はそれぞれ実験等に基いて設定される。

Ｋｍａｘ ＝ １ ＋ ΔＺ＿ｍａｘ ／ Ｚ （４）式

Ｋｍｉｎ ＝ １ ＋ ΔＺ＿ｍｉｎ ／ Ｚ （５）式

（ｄ）残差和演算手段
この手段は、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを、例えば図７の予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動して水平、垂直それぞれの最新エッジヒストグラムＹ、Ｘと各倍率Ｋの参照エッジヒストグラムＹｒ、Ｘｒとの差の絶対値和からなる水平、垂直の個別残差和Ｖｙ、Ｖｘ、及び両個別残差和Ｖｙ、Ｖｘを加算した統合残差和Ｖそれぞれを算出し、図１０の（ａ）、（ｂ）、（ｃ）に示すそれぞれの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求める。

なお、図１０のＫｙ０、Ｋｘ０、Ｋ０は最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを与える倍率Ｋである。

ところで、各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動するのは、つぎの理由に基く。

すなわち、自車１に振動によるピッチング運動がなく、さらに、レーザレーダ２の出力から常に時間遅れなく正確な位置を検出できるのであれば、参照エッジヒストグラムＹｒ、Ｘｒの平行移動は不要であるが、実際には、レーザレーダ２の測距時刻と、単眼カメラ３の撮影時刻とを厳密に一致させることは困難であり、さらに、自車１が振動などによって縦方向にピッチングすることから、これらに起因したレーザレーダ２と単眼カメラ３との座標軸のずれ等を吸収して倍率Ｋｙ０、Ｋｘ０、Ｋ０等を正確に検出するには、予測される範囲内で参照エッジヒストグラムＹｒ、Ｘｒを平行移動して倍率Ｋｙ０、Ｋｘ０等の位置を探索することが必要だからである。

そして、予測移動範囲Ｍｙ、Ｍｘは、前記の振動によるピッチング運動等を考慮し、実験等に基いて設定され、参照エッジヒストグラムＹｒ、Ｘｒが予測移動範囲Ｍｙ、Ｍｘ内でそれぞれの横軸ｙ、ｘ方向に平行移動される。

なお、予測移動範囲Ｍｘは、具体的には、自車１のピッチング角度範囲と相対距離Ｚとで決まり、相対距離Ｚによって変化し、予測移動範囲Ｍｙは、自車１のヨーイング角度範囲と、候補対象αの予想される横移動範囲と、相対距離Ｚとで決まり、相対距離Ｚによって変化する。

そして、候補領域Ｃｃが、マンホールの蓋や鋲、路面標示等の路面物（路面垂直物ではない物）を間違って囲むものでなく、先行車等の路面垂直物を囲むものであれば、レーダ探査平面とカメラ撮像平面とが一致し、このとき、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の図１０（ａ）〜（ｃ）の双曲線状、すなわち、極小値を有する下に凸の二次曲線状になり、しかも、倍率Ｋｙ０、Ｋｘ０は等しくなる（Ｋｙ０＝Ｋｘ０）が、マンホールの蓋や鋲、路面標示等を誤って囲むものであれば、候補領域Ｃｃが正しくなく、レーダ探査平面とカメラ撮像平面とが同じ平面に属さないため、残差和Ｖｙ、Ｖｘ、Ｖの倍率特性のグラフは、前記の下に凸の二次曲線状にならず、倍率Ｋｙ０、Ｋｘ０はＫｙ０≠Ｋｘ０になる。

そこで、この手段により、残差和Ｖｙ、Ｖｘ、Ｖの最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを求め、それらのときの倍率Ｋｙ０、Ｋｘ０、Ｋ０ｃ（＝Ｋ０）を検出する。

実際には、残差和Ｖｙ、Ｖｘ、Ｖの略最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの値（最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎそれぞれの設定された誤差範囲の値）を最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎとして求め、それらの値のときの倍率を最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率Ｋｙ０、Ｋｘ０、Ｋ０ｃ（＝Ｋ０）として検出する。

（ｅ）第１の対象判別手段
この手段は、請求項３の路面垂直物判別手段を形成し、少なくとも水平と垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０が等しい状態（Ｋｙ０＝Ｋｘ０）になるか否かにより、候補対象αが路面上の路面垂直物か否かを判別する。

実際には、前記したように、最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの倍率Ｋｙ０、Ｋｘ０、Ｋ０ｃ（＝Ｋ０）として検出された残差和Ｖｙ、Ｖｘ、Ｖの略最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎの値のときの倍率に基づき、水平、垂直の倍率Ｋｙ０、Ｋｘ０が略等しいか否かにより、候補対象αが路面上の路面垂直物か否かを判別する。

（ｆ）倍率検出手段
この手段は、統合残差和Ｖが最小値Ｖｍｉｎになる倍率Ｋ０を障害物のカメラ側検出倍率Ｋ０ｃとして検出する。

そして、障害物でない路側物であれば、記憶情報と観測情報が大きく変化して統合残差和Ｖの最小値Ｖｍｉｎが所定の路側物検出のしきい値Ｖａ以上になることから、路側物による誤認識を防止して認識精度を向上する場合は、路側物しきい値Ｖａより小さい最小値Ｖｍｉｎのみをカメラ側検出倍率Ｋ０ｃとして検出することが好ましい。

（ｇ）第２の対象判別手段
この手段は、カメラ側検出倍率Ｋ０ｃが相対距離Ｚの変化から算出した障害物のレーダ側検出倍率Ｋ０ｒに等しい状態（Ｋ０ｃ＝Ｋ０ｒ）になるか否かにより、候補対象αの路面垂直物が、先行車等の検出有効物か、先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物かを判別する。

すなわち、候補対象αが先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物であれば、実際には障害物は存在しないにもかかわらず、レーザレーダ２の探査からは候補対象αを障害物として誤認識してしまうため、レーザレーダ２から観測したレーダ側検出倍率Ｋ０ｒと、撮影画像から計測したカメラ側検出倍率Ｋ０ｃとが同値にならなければ（Ｋ０ｃ≠Ｋ０ｒであれば）、候補対象αの路面垂直物を検出無効物であると判別し、Ｋ０ｃ＝Ｋ０ｒのときにのみ、候補対象αを検出有効物と判別し、誤認識を防止する。

（ｈ）認識処理手段
この手段は、前記の路面垂直物かつ検出有効物の判別に基づき、レーザレーダ２と単眼カメラ３とのセンサフュージョンの認識処理により、基本的には、水平と垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０が等しい状態（Ｋｙ０＝Ｋｘ０）になるか否かから、撮影画像Ｐの候補領域Ｃｃ（障害物の領域）の画像が先行車等の路面垂直物か否かを判別し、前記レーダ側検出倍率と前記カメラ側検出倍率とが等しくなる路面垂直物の候補対象αを障害物として認識する。

すなわち、Ｋｘ０＝Ｋｙ０、かつ、Ｋ０ｃ＝Ｋ０ｒになることから、レーザレーダ２の探査に基く測距結果が正しく、候補領域Ｃｃが間違いなく障害物の領域であると判断し、候補領域Ｃｃの画像から候補対象αを障害物として認識する。

しかしながら、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとを比較し、それらの一致、不一致から路面垂直物が障害物か否かを判別して障害物を認識するのみでは、上述したように、レーザレーダ２と単眼カメラ３とで検出手法が異なり、レーザレーダ２の検出が単眼カメラ３の検出より遅れるため、この検出時間のずれに基き、とくに障害物が接近するときには、実際にはレーザレーダ２及び単眼カメラ３が先行車等の障害物をしっかり捉えているのにもかかわらず、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとが不一致となり、障害物でないと誤認識する可能性が高くなる。

そこで、認識処理手段は、前記水平と垂直の個別残差和Ｖｙ、Ｖｘが最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎになる倍率Ｋｙ０、Ｋｘ０が略等しく、候補対象αが路面上の路面垂直物（先行車等の障害物）であるときに、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの所定範囲内の誤差を許容してレーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとが等しいと判断し、前記路面垂直物を先行車等の障害物と認識する機能を有する。

このとき、倍率Ｋｙ０、Ｋｘ０が略等しく、しかも、両倍率Ｋｙ０、Ｋｘ０がいずれもレーダ側検出倍率Ｋ０ｒより大きくなると、レーザレーダ２の検出が単眼カメラ３の検出より遅れ、相対的に接近してくる障害物に対して、単眼カメラ３の最新の検出結果がレーザレーダ２の検出結果より接近した状態で得られることから、障害物が近距離に接近していると判断し、カメラ側検出倍率Ｋ０ｃとレーダ側検出倍率Ｋ０ｒとが等しいと判断する前記誤差の範囲をより広くして拡大する。

具体的には、この実施形態の場合、下記の（６）式の画像確信度ＧＣＦ（％）を算出し、この画像信頼度ＧＣＦを障害物の認識精度とすることで、等価的に前記の所定範囲を可変設定し、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの誤差を許容して障害物を認識する。

同時に、認識対象が明らかに路面垂直物でなくマンホールやキャッツアイ（鋲）等の路面反射物若しくはゴースト物標である可能性が高いときには、画像確信度ＧＣＦを積極的に低くすることで、等価的に前記の所定範囲を極めて狭くし、障害物であると誤認識することを確実に防止する。

ＧＣＦ ＝ １００−（Ｇｘ・｜Ｋｘ−Ｋｃ｜＋Ｇｙ・｜Ｋｙ−Ｋｃ｜＋Ｇｘｙ・｜Ｋｘ−Ｋｙ｜） （６）式

なお、（６）式において、Ｋｘはカメラ側（画像側）の垂直方向の倍率Ｋｘ０、Ｋｙはカメラ側（画像側）の水平方向の倍率Ｋｙ０、Ｋｒはレーダ側検出倍率Ｋ０ｒを表わし、Ｇｘ、Ｇｙ、Ｇｘｙは係数を表わす。

そして、この画像確信度ＧＣＦが１００（％）に近くなる程「車両らしさ」換言すれば障害物となる「路面垂直物」らしさが高くなり、画像確信度ＧＣＦが０に近くなる程マンホールやキャッツアイ（鋲）等の「路面反射物」若しくは「ゴースト物標」である可能性が高くなる。

ところで、係数Ｇｘ、Ｇｙ、Ｇｘｙは、図３のステップＳ４１〜Ｓ４５の処理により、倍率Ｋｘ、Ｋｙ、Ｋｘｙの大小関係にしたがって、つぎのように可変設定する。

（イ）ステップＳ４１の初期設定に基き、通常は、Ｇｘ＝ｍ１、Ｇｙ＝ｎ１、Ｇｘｙ＝ｍｎ１に設定する。なお、ｍ１、ｎ１、ｍｎ１はいずれも実験等によって設定された定数であり、例えば、ｍ１＝ｎ１、かつ、ｍ１、ｎ１＜＜ｍｎ１である。そして、ＧｘｙをＧｘ、Ｇｙより大きくするのは、水平と垂直の倍率Ｋｘ、Ｋｙが一致していない認識対象はＫｘ、ＫｙがＫｒより大きくても、先行車等の「路面垂直物」である可能性が極めて低いため、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとからの先行車等の障害物の認識の信頼性を低くするためである。

（ロ）水平、垂直の倍率Ｋｙ、Ｋｘが、設定された誤差範囲内で一致し、しかも、レーダ側検出倍率Ｋｒより大きくなるときには、上述したように認識対象（障害物）が接近しているため、等価的に前記の所定範囲を一層広くしてレーザレーダ側検出倍率Ｋ０ｒの時間的な遅れをより大きく許容するため、ステップＳ４２、Ｓ４３により、Ｋｘ＞Ｋｒ、Ｋｙ＞Ｋｒ、｜Ｋｘ−Ｋｒ｜＜Δａ、｜Ｋｙ−Ｋｒ｜＜Δｂ、｜Ｋｘ−Ｋｙ｜＜Δｃ、Ｋｒ＞Ｋｒ（ｎｅａｒ）が成立することを条件に、Ｇｘ＝ｍ２（＜ｍ１）、Ｇｙ＝ｎ２（＜ｎ１）、Ｇｘｙ＝ｍｎ２（＜＜ｍｎ１）に一層小さくする。なお、ｍ２、ｎ２、ｍｎ２、Δａ、Δｂ、Δｃ、Ｋｒ（ｎｅａｒ）はそれぞれ実験等によって設定されたしきい値の定数である。そして、ｍ２、ｎ２、ｍｎ２の定数を設定することで、画像確信度ＧＣＦが下がりにくくなっている。

（ハ）一方、レーダ側検出倍率Ｋｒが画像側の倍率Ｋｘ、Ｋｙのいずれよりも大きく、（Ｋｒ＞Ｋｘ、Ｋｒ＞Ｋｙ）かつ、差｜Ｋｒ−Ｋｘ｜、｜Ｋｒ−Ｋｙ｜のいずれかでも設定されたしきい値の定数Δｄより大きくなるときは、認識対象が「路面垂直物」でなく「路面反射物」若しくは「ゴースト物標」である可能性か高いため、ステップＳ４４、Ｓ４５により、Ｇｘ＝ｍ３（＞ｍ１）、Ｇｙ＝ｎ３（＞ｎ１）、Ｇｘｙ＝ｍｎ３（≧ｍｎ１）に大きくし、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとからの先行車等の障害物の認識の信頼性を低くして、等価的に前記の所定範囲を極めて狭くする。なお、ｍ３、ｎ３、ｍｎ３も実験等によって設定された定数である。

（動作）
つぎに、認識演算部６の動作について、主に図２、図１１を参照して説明する。

自車１のエンジン始動後、図２のステップＳ１により、候補領域設定手段がクラスタリング処理を実行し、時々刻々の先行車７等の障害物の領域とみなされる候補領域Ｃｃを設定し、同時に、相対距離計測手段が時々刻々の相対距離Ｚを計測する。

また、図２のステップＳ２により、ヒストグラム演算手段が時々刻々の（フィールド毎の）撮影画像Ｐを画像微分二値化処理してその画像エッジ情報を得、以降の計算処理において、８ビット／画素の輝度値をそのままを用いるのでなく、１ビット／画素のエッジ情報を利用するようにして、情報量を１／８に低減し、計算量を少なくする。

そして、図２のステップＳ３により、ヒストグラム演算手段が、フィールド毎に水平、垂直の最新エッジヒストグラムＹ、Ｘ及び各倍率Ｋの水平、垂直の参照エッジヒストグラムＹｒ、Ｘｒを算出し、前記のクラスタリング処理によって設定された領域Ｃｃについての候補対象αの画像上での特徴量（ベクトル）を計算する。

このとき、倍率Ｋは、前記の（４）式、（５）式の演算に基いて設定された最大値Ｋｍａｘ〜最小値Ｋｍｉｎの範囲で変化し、その単位変化の幅（計算刻み幅Ｋ＿ｓｔｅｐ）は、制御ＥＣＵ４の処理負担等を考慮して、例えば０．０４に設定される。

また、時刻ｔ、ｔ＋１、…における垂直の最新エッジヒストグラムＸを今回の候補対象特徴量（ベクトル）Ｘｔ、Ｘｔ＋１、…とし、各時刻ｔ、ｔ＋１、…にメモリユニット５に更新自在に保持される既記憶エッジヒストグラムＸｍを、それぞれ前回までの特徴量（ベクトル）Ｐｔ、Ｐｔ＋１、…とすると、特徴量Ｐｔ、Ｐｔ＋１、…は、撮影画像Ｐの時間的連続性（相関性）等を考慮して以前に算出された既フレームの垂直の各エッジヒストグラムの重み付け加算平均により、突発的な変動の影響等を抑えて算出され、更新自在に最新のものに書き換えられて保持される。

具体的には、例えば時刻ｔ＋１の既記憶エッジヒストグラムＸｍの特徴量Ｐｔ＋１は、時刻ｔの最新エッジヒストグラムＸｔ、特徴量Ｐｔに基くつぎの（７）式の重み付け加算平均により算出されて時刻ｔ＋１まで保持される。なお、同式中のＨは、０＜Ｈ＜１の適当な値に設定されたヒス係数である。

Ｐｔ＋１＝Ｈ×Ｘｔ＋（１−Ｈ）×Ｐｔ （７）式

なお、水平の既記憶エッジヒストグラムＹｍも、前記と同様にして時間的にヒステリシスを持たせて更新しながら保持される。

そして、各時刻の候補対象特徴量としての水平、垂直のエッジヒストグラム（Ｙｔ、Ｘｔ）、（Ｙｔ＋１、Ｘｔ＋１）、…が、保持されていた候補対象特徴量としての水平、垂直の既記憶エッジヒストグラムＰｔ（＝Ｙｍｔ、Ｘｍｔ）、Ｐｔ＋１（＝Ｙｍｔ＋１、Ｘｍｔ＋１）、…と大きく異なるときには、候補対象αとして前回と違うものを認識したか、或いは、何らかの原因で候補対象αの画像上の特徴が局所的に変わったと判定することができる。

つぎに、前記の各時刻の候補対象特徴量Ｐｔ、Ｐｔ＋１、…に基く残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎは、ステップＳ３において、残差和演算手段が計算する。

この計算の処理は、具体的には、例えば図１１のステップＱ１〜Ｑ１１からなり、ステップＱ１により、初期値Ｋｍｉｎから漸増可変される倍率ＫがＫｍｉｎ≦Ｋ≦Ｋｍａｘに探索範囲に設定されていることを確認すると、ステップＱ２により、その倍率Ｋでの垂直の個別残差和Ｖｘを計算し、ステップＱ３により、計算した個別残差和Ｖｘが、計算開始時に初期値にセットされた最小値Ｖｘ＿ｍｉｎより小さいか否かを判別し、Ｖｘ＜Ｖｘ＿ｍｉｎであれば、ステップＱ４に移行し、最小値Ｖｘ＿ｍｉｎを計算した個別残差和Ｖｘに更新し、垂直の検出倍率Ｋｘ０をその倍率Ｋに更新する。

さらに、ステップＱ５により、その倍率Ｋでの水平の個別残差和Ｖｙを計算し、ステップＱ６により、計算した個別残差和Ｖｙが、計算開始時に初期値にセットされた最小値Ｖｙ＿ｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｙ＿ｍｉｎであれば、ステップＱ７に移行し、最小値Ｖｙ＿ｍｉｎを計算した個別残差和Ｖｙに更新し、水平の検出倍率Ｋｙ０もその倍率Ｋに更新する。

つぎに、ステップＱ８により、その倍率Ｋにおいて計算した個別残差和Ｖｘ、Ｖｙに基き、統合残差和Ｖ（＝Ｖｘ＋Ｖｙ）を計算し、ステップＱ９により、計算した統合残差和Ｖが計算開始時に初期値にセットされた最小値Ｖｍｉｎより小さいか否かを判別し、Ｖｙ＜Ｖｍｉｎであれば、ステップＱ１０に移行して最小値Ｖｍｉｎを計算した統合残差和Ｖに更新し、検出倍率Ｋ０をその倍率Ｋに更新する。

そして、ステップＱ１１により、倍率ＫをＫ＋Ｋ＿ｓｔｅｐにステップ可変して漸増し、この状態で、ステップＱ１に戻ってこのステップＱ１から処理をくり返し、ステップＱ３により、Ｖｘ≧Ｖｘ＿ｍｉｎに変化して個別残差和Ｖｘの最小値Ｖｘ０を検出すると、ステップＱ４をパスしてステップＱ５に移行し、同様に、ステップＱ６により、Ｖｙ≧Ｖｙ＿ｍｉｎに変化して個別残差和Ｖｙの最小値Ｖｙ０を検出すると、ステップＱ７をパスしてステップＱ８に移行する。

さらに、ステップＱ９により、Ｖ≧Ｖｍｉｎに変化して統合残差和Ｖの最小値Ｖ０を検出すると、そのときの残差和Ｖｙ、Ｖｘ、Ｖ及び最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎ、Ｖｍｉｎを候補対象αの特徴量として検出するとともに倍率Ｋｙ０、Ｋｘ０、Ｋ０を検出し、図１１の処理を終了する。

なお、ステップＱ３、Ｑ６、Ｑ９においては、各倍率Ｋの垂直、水平の参照エッジヒストグラムＸｒ、Ｙｒを、前記の予測移動範囲Ｍｘ、Ｍｙ内でそれぞれの横軸ｘ、ｙ方向に平行移動して各残差和Ｖｘ、Ｖｙ、Ｖが算出される。

そして、算出結果等に基き、候補領域Ｃｃが適正な領域の場合、残差和Ｖｙ、Ｖｘ、Ｖの倍率Ｋの実測特性として、例えば図１２に示す二次曲線特性が得られた。

そして、図１１の処理を終了すると、第１の対象判別手段により、ステップＳ３で得られた最小値Ｖｙ＿ｍｉｎ、Ｖｘ＿ｍｉｎの倍率Ｋｙ０、Ｋｘ０が等しい（Ｋｙ０＝Ｋｘ０）状態か否かから、候補対象物αが路面垂直物か否かを判別し、倍率検出手段により、ステップＳ３で得られた倍率Ｋ０をカメラ側検出倍率Ｋ０ｃとして検出する。

また、第２の対象判別手段により、相対距離Ｚの前回からの変化に基き、前記の（３）式から求まる倍率Ｋをレーダ側検出倍率Ｋ０ｒとして検出し、Ｋ０ｃ＝Ｋ０ｒになるか否かから、候補対象αが、先行車等の検出有効物か、先行車等の水しぶき、レーザレーダ２の付着ごみ等の検出無効物かを判別する。

そして、ステップＳ３からステップＳ４に移行して図３のステップ４１〜４５により画像確信度ＧＣＦを算出してステップＳ５に移行し、画像確信度ＧＣＦを考慮した路面垂直物（Ｋｙ０＝Ｋｘ０）かつ検出有効物（Ｋ０ｃ＝Ｋ０ｒ）の判別に基づき、認識処理手段により、候補領域Ｃｃが適正領域であることを検出して候補領域Ｃｃの画像から候補対象αを障害物（図２では車両（先行車））として認識する。

つぎに、ステップＳ６に移行し、この実施形態においては、認識精度を一層向上するため、先行車等の障害物の候補領域Ｃｃについて、今回の観測位置をもとにカルマンフィルタを用いて次回の観測位置を予測してメモリユニット５に書き換え自在に保持し、例えば、次回のステップＳ１の処理において、この予測位置と実際に観測された位置との誤差から候補領域Ｃｃの妥当性を検討し、誤差が大きすぎるときには、候補領域Ｃｃを無効にしてレーダクラスタ検出をロバストにする。

また、今回得られた各特徴量と次回計算される特徴量とを比較等するために、今回得られた各特徴量をメモリユニット５に書き換え自在に保持し、例えば、ステップＳ３において、算出された特徴量と保持された前回の特徴量との比較から、算出された特徴量の妥当性を検討し、誤差が大きすぎる場合は、算出された特徴量を無効にして認識精度の向上を図る。

そして、ドライバの操作による制御モードの切り換え、又は、自車１のエンジン停止により、認識処理を終了するまで、ステップＳ６からステップＳ７を介してステップＳ１、Ｓ２の処理に戻り、各ステップＳ１〜Ｓ７の処理をくり返し、時々刻々の先行車７等の障害物を認識する。

このようにすることで、簡単な画像計算処理により、キャッツアイ、マンホール等の路面反射やゴースト物票による障害物の誤認識の防止を図ることができ、認識対象の乗り移り（変化）への適応が可能、車両画像に開する知識を一切必要としない、昼夜でアルゴリズム切り替えが不要等の前記既出願と同様の効果が得られるのは勿論、レーザレーダ２と単眼カメラ３の検出の時間ずれがあっても、水平、垂直の倍率Ｋｘ、Ｋｙが略一致することを条件にそのずれを許容し、レーザレーダ２と単眼カメラ３の検出の時間ずれに起因したレーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃと不一致に基づく、障害物でないとする誤認識を極力回避することができ、とくに、レーザレーダ２と単眼カメラ３の検出の時間ずれがより大きくなる障害物の接近時の誤認識を極めて良好に回避することができる。

また、本実施形態のように、画像確信度ＧＣＦに基づいて先行車等の障害物を認識する場合には、前述のように画像確信度ＧＣＦの演算式の各しきい値の定数を設定するだけでよいので、先行車等の障害物の認識度を容易に向上させることができる。

すなわち、例えば図１３の（ａ）に示すように撮影画像Ｐの候補領域Ｃｃの障害物の候補対象αが自車から比較的離れて小さく写るときには、レーザレーダ２と単眼カメラ３の検出の時間ずれがあっても、そのずれの影響は少なく、レーザレーダ２と単眼カメラ３の検出の時間ずれに起因したレーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの誤差は小さく、同図の（ｂ）に示すようにレーダ側検出倍率Ｋ０ｒからの認識精度とカメラ側検出倍率Ｋ０ｃからの認識精度との前記時間ずれによる差は少ないが、図１４の（ａ）に示すように撮影画像Ｐの候補領域Ｃｃの障害物の候補対象αが自車に相対的に接近して大きく写るときには、レーザレーダ２と単眼カメラ３の検出の時間ずれの影響が大きく、レーザレーダ２と単眼カメラ３の検出の時間ずれに起因したレーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの誤差が大きくなり、同図の（ｂ）に示すようにレーダ側検出倍率Ｋ０ｒからの認識精度とカメラ側検出倍率Ｋ０ｃからの認識精度との前記時間ずれによる差は大きくなる。なお、図１３の（ｂ）、図１４の（ｂ）のｌｒ、ｌｘ、ｌｙはレーダ側検出倍率Ｋ０ｒからの認識精度、カメラ側の倍率Ｋ０ｘ、Ｋｙ０からの認識精度の特性を示す。

このような場合に、レーザレーダ２と単眼カメラ３の検出の時間ずれに起因したレーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃと誤差を所定の条件下に許容することで、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの不一致に基づく、障害物でないとする誤認識を、キャッツアイ（鋲）、マンホール等の路面反射やゴースト物票による障害物の誤認識を大きくすることなく、極力回避することができ、とくに、レーザレーダ２と単眼カメラ３の検出の時間ずれがより大きくなる障害物の接近時の誤認識を極めて良好に回避することができる。

しかも、前記（６）式のＧｘｙ・｜Ｋｘ−Ｋｙ｜の項により、路面のマンホールの蓋やキャッツアイ（鋲）等を障害物として誤認識することが一層確実に防止される。

さらに、明らかに認識対象が路面垂直物でない可能性が高いときには、前記（６）式のＧｘ、Ｇｙを大きくして画像確信度ＧＣＦを積極的に低くし、前記誤差の範囲を逆に狭くして障害物であるとの誤認識を確実に防止して障害物の認識精度をさらに一層向上することができる。

したがって、路面のマンホールの蓋やキャッツアイ（鋲）等を障害物として誤認識することなく、レーザレーダ２及び単眼カメラ３が先行車等の障害物をしっかり捉えているときに障害物でないと誤認識されてしまう事態の発生を防止することができ、障害物の認識精度を著しく向上することができる。

そして、この認識結果に基いて例えば自車１の自動ブレーキシステムを制御することにより、交通事故の著しい低減効果等が期待できる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、測距センサとしてのレーダは、スキャニングレーザレーダでなく、同様のスキャニング式の安価な超音波レーダであってもよく、場合によっては、ミリ波レーダ等の電波レーダ等であってもよい。また、撮像センサとしてのカメラは、単眼カメラに限られるものではない。

さらに、制御ＥＣＵ４の障害物認識の処理プログラム等が図２、図３、図１０と異なっていてもよいのも勿論であり、水平、垂直の画像ヒストグラムＹｍ、Ｘｍの各倍率の基準の画像ヒストグラムＹｒ、Ｘｒとの残差和の最小値に基づくカメラ側検出倍率Ｋ０ｃの算出方法等はどのようであってもよく、また、レーダ側検出倍率Ｋ０ｒとカメラ側検出倍率Ｋ０ｃとの所定範囲内の誤差を許容する方法は、前記の画像確信度ＧＣＦを算出する方法に限られるものではなく、例えば、前記（６）式のＧｘｙ・｜Ｋｘ−Ｋｙ｜の項を省いた確信度を用いる方法であってもよく、また、実際に許容範囲のしきい値を適当に設定する方法であってもよい。

ところで、自車１の装備部品数を少なくするため、図１のレーザレーダ２、単眼カメラ３等を追従走行制御、ブレーキ制御等の他の制御のセンサ等に兼用する場合にも適用することができる。

この発明の一実施形態のブロック図である。 図１の動作説明用のフローチャートである。 図２の一部の詳細なフローチャートである。 図１のレーダ測距結果に基づく候補領域検出の説明図である。 図１のカメラ撮影画像のエッジ画像処理の説明図である。 図４のエッジ画像から得られたエッジヒストグラムの１例の説明図である。 図１の画像処理の説明図である。 図１の倍率計算説明用の走行模式図である。 図１のカメラ側検出倍率説明用の模式図である。 図１の個別残差和、統合残差和の１例の特性図である。 図２の他の一部の詳細なフローチャートである。 図１の計算された倍率の１例の特性図である。 障害物が自車前方の比較的離れた距離にあるときのレーダ側検出倍率とカメラ側検出倍率の検出時間ずれの影響の説明図である。 障害物が接近したときのレーダ側検出倍率とカメラ側検出倍率の検出時間ずれの影響の説明図である。

符号の説明

１ 自車
２ スキャニングレーザレーダ
３ 単眼カメラ
４ 制御ＥＣＵ
５ メモリユニット
６ 認識演算部

Claims (3)

1. 車両に備えたレーダとカメラとによって自車前方をくり返し探査し、
   前記レーダの探査結果に基づく自車前方の先行車を含む障害物等までの測距距離の変化からレーダ側検出倍率を求め、
   前記カメラの自車前方の撮影結果の画像処理により前記カメラの自車前方の撮影画像の各倍率の基準の画像ヒストグラムとの残差和の最小値に基づいてカメラ側検出倍率を求め、
   前記レーダと前記カメラとのセンサフュージョンの認識処理により、前記残差和が最小値になる水平、垂直の倍率が等しくなるか否かから前記撮影画像の前記障害物の領域の画像が先行車等の路面垂直物か否かを判別し、前記レーダ側検出倍率と前記カメラ側検出倍率とが等しくなる前記路面垂直物を前記障害物として認識する障害物認識方法において、
   前記水平、垂直の画像ヒストグラムの前記残差和が最小値になる水平、垂直の倍率が略等しいことを条件に、前記レーダ側検出倍率と前記カメラ側検出倍率との所定範囲内の誤差を許容して前記レーダ側検出倍率と前記カメラ側検出倍率とが等しいと判断し、前記路面垂直物を前記障害物と認識することを特徴とする障害物認識方法。
2. 請求項１記載の障害物認識方法において、
   前記残差和が最小値になる水平、垂直の倍率が略等しく、該両倍率がいずれも前記レーダ側検出倍率より大きくなって前記障害物の近距離接近を検出したときに、前記カメラ側検出倍率と前記レーダ側検出倍率とが等しいと判断する前記誤差の範囲を拡大することを特徴とする障害物認識方法。
3. 前記レーダ側検出倍率が、前記残差和が最小値になる水平、垂直の倍率のいずれよりも大きくなり、かつ、前記レーダ側検出倍率と前記残差和が最小値になる水平、垂直の倍率それぞれとの差いずれかでも設定されたしきい値より大きくなって前記障害物の領域の画像が前記路面垂直物でない可能性が高いときには、前記カメラ側検出倍率と前記レーダ側検出倍率とが等しいと判断する前記誤差の範囲を狭くすることを特徴とする請求項１または２に記載の障害物認識方法。