JP2005215964A - 他車検出装置及び他車検出方法 - Google Patents

Abstract

【課題】自車周辺の他車を効率的に検出する「他車検出装置及び他車検出方法」を提供する。
【解決手段】周辺他車探索部１６は、レーダ装置２において検出された物体５０１の自車から見た存在角度範囲θ１〜θ２を検出角度範囲として取得する（ａ）。そして、取得した検出角度範囲θ１〜θ２の全てを撮影角度範囲３０２に含むカメラ３を、対象カメラとして選択する。次に、検出角度範囲に基づいて、対象カメラが撮影した画像ｂ２中の、レーダ装置２の検出物体が写っている領域を算出して画像抽出領域５１１に設定し（ｂ２）、この画像抽出領域内の画像を画像認識対象画像として抽出する（ｃ）。そして、画像認識対象画像を対象に、画像認識処理による他車の検出を行う（ｄ、ｅ）。
【選択図】図５

Description

本発明は、自動車において、自車周辺の他車を検出する技術に関するものである。

自動車において、自車周辺の他車を検出する技術としては、撮影した車両前方の画像に対して画像認識処理を施して自車前方に存在する他車を認識すると共に当該他車の方向を算出し、算出した他車の方向に向けてレーダ光を照射し、照射したレーダ光の当該他車における反射光を用いて当該他車までの距離を測定する技術が知られている（たとえば、特許文献１）。
特開平７−３３２９６６号公報

さて、自車周辺の他車を検出する場合には、自車前方のみならず、より広い範囲において他車を検出することが望ましい。一方で、このためには自車前方の他車のみを検出する場合に比べ、より広い範囲を撮影する必要がある。
そして、前記特許文献１の技術によれば、撮影した画像の全てを対象として他車を認識するための画像認識処理を行わなければならないため、広い範囲を撮影する場合には処理量が過度に大きくなり、速やかな他車検出を行う上での妨げとなる。
特に、広い範囲を撮影するために、撮影範囲を分担させた複数のカメラを用いる場合には、複数の撮影範囲に跨る位置にある他車も認識できるように、各カメラが撮影した画像を正確につなぎ合わせて、単一のカメラで広い範囲を撮影した場合に得られる画像と同等の画像を生成する煩雑な処理も、画像認識処理の一部として行う必要がある。また、このような各カメラが撮影した画像のつなぎ合わせを正確に行えない場合には、他車の認識精度が劣化してしまうという問題も生じる。

そこで、本発明は、より効率的に精度良く自車周辺の他車の検出を行うことを課題とする。

前記課題達成のために、本発明は、自動車に搭載された、自車周辺の他車を検出する他車検出装置に、自車周辺に存在する物体の方向を検出する周辺物体検出手段と、各々自車周辺を撮影する複数のカメラとを、当該複数のカメラの各々の撮影角度範囲が、少なくとも他の一つのカメラの撮影角度範囲と重複するように設け、さらに、当該他車検出装置に、前記周辺物体検出手段が検出した物体の方向に基づいて、当該物体全体を撮影角度範囲内に収めていると推定されるカメラを選択するカメラ選択手段と、カメラ選択手段が選択したカメラが撮影した画像に対する画像認識処理によって他車を検出する画像認識処理手段とを設けたものである。

なお、前記周辺物体検出手段は、たとえば、レーダ装置である。
このような他車位置検出装置によれば、自車周辺の他車を検出しようとする範囲内にある他車の全体形状が、必ずいずれかのカメラに撮影されるように、撮影角度範囲を重複させて複数のカメラを配置することにより、検出された自車周辺の物体の全体を撮影角度範囲内に収めていると、当該物体の方向より推定されるカメラの撮影画像のみを対象として画像認識処理を行うだけで、他車を確実に検出することができるようになる。したがって、各カメラが撮影した画像を正確につなぎ合わせて、単一のカメラで広い範囲を撮影した場合に得られる画像と同等の画像を生成する煩雑な処理を行う必要などなく、効率的に精度良く自車周辺の他車の検出を行うことができる。

以上のように本発明によれば、より効率的に精度良く自車周辺の他車の検出を行うことができる。

以下、本発明の実施形態について説明する。
図１に、本実施形態において自動車に搭載する車載システムの構成を示す。
図示するように、車載システムは、ナビゲーション装置１と、１または複数のレーダ装置２と、複数のカメラ３を備えている。
そして、ナビゲーション装置１には、ＧＰＳ受信機１１、車両状態センサ１２、道路地図データを記憶したＤＶＤドライブやＨＤＤなどの記憶装置である道路地図データ記憶部１３、現在状態算出部１４、ルート探索部１５、周辺他車探索部１６、メモリ１７、制御部１８、案内画像生成部１９、操作部２０、表示装置２１、認識処理用メモリ２２を有する。ここで、車両状態センサ１２は、角加速度センサや地磁気センサなどである方位センサや車速パルスセンサなどである車速センサなどの車両状態を検出するセンサ群である。

そして、ナビゲーション装置１の周辺他車探索部１６は、レーダ装置２とカメラ３との出力より、自車位置周辺の他車を認識し、他車の自車に対する相対位置と他車の車種を認識し、制御部１８に通知するものである。
このような構成において、現在状態算出部１４は、車両状態センサ１２やＧＰＳ受信機１１の出力から推定される現在位置に対して、道路地図データ記憶部１３から読み出した前回決定した現在位置の周辺の地図とのマップマッチング処理などを施して、現在位置や、車両の進行方向を算出する処理を繰り返す。

また、ルート探索部１５は、制御部１８が操作部２０を介してユーザから指定された目的地までの現在状態算出部１４が算出した現在位置からのルートを推奨ルートとして探索する。
また、案内画像生成部１９は、地図データ記録部に記憶された道路地図上に、現在状態算出部１４が算出した現在位置やルート探索部１５が探索した推奨ルートや目的地を表した案内画像を生成し、表示装置２１に表示する。
図２ａは、このようにして表示装置２１に表示される案内画像の例を示すものであり、図示するように案内画像は、自車位置周辺の道路地図画像２０１上に、現在位置を表す現在位置マーク２０２や、推奨ルートを表すルート図形２０３などが表されたものとなる。なお、道路地図画像２０１の表示範囲内に目的地が含まれる場合には、目的地を表す目的地マークも道路画像上に表示されることになる。

そして、主制御部は、周辺他車探索部１６から、検出した他車の自車に対する相対位置と他車の車種を通知されると、現在状態算出部１４が算出した現在位置と通知された他車の自車に対する相対位置より他車の道路地図上の位置を求め、案内画像生成部１９に、求めた位置に対応する道路地図画像２０１上の位置に他車の存在を表す他車マークを描画させる。ここで、この他車の存在を道路地図画像２０１上で表す他車マークとしては、予め車種毎に用意しておいた複数の図形のうちの、通知された当該他車の車種に対応する図形を用いる。ただし、ここでは、車種とは、小型車、大型車、ミニバンなどの、おおまかな車のタイプを指している。

図２ｂは、このようにして他車マークが表示された案内画像を示すものであり、図示するように、自車周辺の他車の存在と位置を道路地図画像２０１の上で表す他車マーク２０４が、案内画像中に表示される。
以下、周辺他車探索部１６における他車の自車に対する相対位置と他車の車種の検出処理の詳細について説明する。
まず、図３ａにレーダ装置２とカメラ３の配置例を示す。
図示した例では、視野角１６０度の２つのカメラ３を、その撮影角度範囲３０１、３０２が車両前方方向で重複するように配置している。また、レーダ装置２を、その走査範囲３１１が車両前方１８０度となるように設定している。ここで、２つのカメラ３の撮影角度範囲の重複は、車両前方に所定距離（たとえば、４ｍ）離して他車を配置したときに、当該他車の全体が、撮影角度範囲の重複範囲内に収まるように設定している。なお、図示した例では、二つのカメラ３の撮影角度範囲３０１、３０２の重複範囲は７０度である。

次に、周辺他車探索部１６が行う周辺他車探索処理について説明する。
図４に、この周辺他車探索処理の手順を示す。
図示するように周辺他車探索処理では、まず、周辺他車探索部１６は、レーダ装置２が、所定距離内の物体を検出するのを待つ（ステップ４０２）。そして、レーダ装置２が物体を検出したならば、レーダ装置２において検出された物体までの距離と、物体の自車から見た存在角度範囲を検出角度範囲として取得する（ステップ４０４）。そして、取得した検出角度範囲の全てを撮影角度範囲に含むカメラ３を対象カメラとして選択する（ステップ４０６）。ただし、取得した検出角度範囲の全てを撮影角度範囲に含むカメラ３が存在しない場合には、検出角度範囲のより多くの範囲を撮影角度範囲に含むカメラ３を対象カメラとして選択する。または、この場合には、本周辺他車探索処理の以降の処理は行わず、従来同様、各カメラ３が撮影した画像をつなぎ合わせて、単一のカメラ３で広い範囲を撮影した場合に得られる画像と同等の画像を生成し、この画像を対象に画像認識処理を施して他車を検出するようにしてもよい。

さて、いま、図５ａに示すように、他車５０１が存在する場合には、ステップ４０４では、物体の水平方向の存在角度範囲であるθ１〜θ２が検出角度範囲として求まる。そして、このθ１〜θ２を含む撮影角度範囲を持つカメラ３は、撮影角度範囲３０２を持つカメラ３となる。したがって、この撮影角度範囲３０２を持つカメラ３が、ステップ４０６において、対象カメラとして選択されることになる。

図４に戻り、次に、検出角度範囲に基づいて、対象カメラが撮影した画像中の、レーダ装置２の検出物体が写っている領域を画像抽出領域として算出し（ステップ４０８）、算出した画像抽出領域中の画像を画像認識対象画像として、対象カメラが撮影した画像から切り出す（ステップ４１０）。

この結果、図５ｂ１、ｂ２に示す二つのカメラ３が撮影した画像のうちの、対象カメラとして選択されたカメラ３が撮影された画像ｂ２中のレーダ装置２の検出物体の画像を含む領域が画像抽出領域５１１に設定され、この画像抽出領域内の画像が、図５ｃに示す画像認識対象画像として抽出される。

さて、図３に戻り、画像認識対象画像を抽出したならば、この画像認識対象画像を、画像認識対象画像のサイズが、所定のサイズとなるように、補正後の画像認識対象画像を拡大または縮小する（ステップ４１２）。
ここで、この所定のサイズとは、車両を画像認識するために行うパターンマッチング用のテンプレート画像として、予め認識処理用メモリ２２に記憶させた画像のサイズである。したがって、たとえば図５ｅに示すような、車種毎のテンプレート画像が予め用意されている場合、画像認識対象画像は図５ｄに示すように拡大される。ただし、テンプレート画像は、自動車のシルエットを表す二値画像としてもよく、この場合には、画像認識対象画像に対して、画像認識対象画像中の物体のアウトラインを求めると共に、当該画像認識対象画像を、求めたアウトラインを持つシルエットを表す二値画像に変換して用いるようにする。

さて、このようにして補正後の画像認識対象画像のサイズを調整したならば、各テンプレート画像とパターンマッチングを施し（ステップ４１４）、画像認識対象画像中に自動車の画像が含まれているかどうかと、画像認識対象画像中に自動車の画像が含まれている場合には、その自動車の車種は何であるかを算定する。ここで、サイズを調整した画像認識対象画像と所定レベル以上マッチングするテンプレート画像が存在しなかった場合に、画像認識対象画像中に自動車の画像が含まれていないと判定する。他の場合には、尤もサイズを調整した画像認識対象画像とマッチングしたテンプレート画像に対応する車種を、物体の車種として求める。

そして、画像認識対象画像中に自動車の画像が含まれていないと判定された場合には（ステップ４１６）、ステップ４０２からの処理に戻り、画像認識対象画像中に自動車の画像が含まれていると判定された場合には、判定した車種と、レーダが検出した物体の方向と距離より求まる、他車であるところの物体の自車に対する相対位置を主制御部に通知して（ステップ４１８）、ステップ４０２に戻る。

以上、本発明の実施形態について説明した。
ところで、以上の実施形態は、自車の周り全周に渡って他車を検出するように拡張して適用してもよい。
図２ｂ、ｃ、ｄは、この場合のレーダ装置２とカメラ３の配置例を示すものである。すなわち、図２ｂでは、１または複数レーダ装置によって自車周り全周を走査範囲３２１として走査すると共に、視野角１６０度の撮影角度範囲３２２を持つ４つのカメラ３を、撮影中心方向を９０度ずつずらして配置したものである。また、図２ｃでは、１または複数レーダ装置によって自車周り全周を走査範囲３３１として走査すると共に、視野角２７０度の撮影角度範囲３３２を持つ２つのカメラ３を、撮影中心方向を１８０度ずつずらして配置したものである。また、図２ｄは、１または複数のレーダ装置２によって自車周り全周を走査範囲３４１として走査すると共に、視野角１６０度の撮影角度範囲３４２を持つ６つのカメラ３を、そのうちの２つのカメラ３をそれぞれ前後方向を撮影中心方向とした撮影を行うように配置し、他の２つのカメラ３を前後方向にずれた位置から、それぞれ右方向を撮影中心方向とした撮影を行うように配置し、残る２つのカメラ３を前後方向にずれた位置から、それぞれ左方向を撮影中心方向とした撮影を行うように配置したものである。なお、図３ｄの配置は、たとえばバスやトラックなどの全長が長い自動車に適した配置である。

以上、図２ｂ、ｃ、ｄに示したいずれの配置でも、図４の周辺他車探索処理によって効率的で精度の高い他車検出を行うことができる。
また、以上の実施形態では、検出した他車の位置を道路地図画像２０１上に表示する場合について説明したが、本実施形態において検出した他車の位置は、自車に接近した他車からの衝突回避動作を行わせる処理などの任意の処理に用いるようにしてよい。
以上のように本実施形態によれば、自車周辺の他車を検出しようとする範囲内にある他車の全体形状が、必ずいずれかのカメラ３に撮影されるように、撮影角度範囲を重複させて複数のカメラ３を配置することにより、レーダ装置２が検出した自車周辺の物体の全体を撮影角度範囲内に収めていると、当該物体の方向より推定されるカメラ３の撮影画像のみを対象として画像認識処理を行うだけで、他車を確実に検出することができるようになる。したがって、各カメラ３が撮影した画像を正確につなぎ合わせて、単一のカメラ３で広い範囲を撮影した場合に得られる画像と同等の画像を生成する煩雑な処理を行う必要などなく、効率的に精度良く自車周辺の他車の検出を行うことができる。

本発明の実施形態に係る車載システムの構成を示すブロック図である。 本発明の実施形態において表示する案内画像の例を示す図である。 本発明の実施形態におけるカメラのレーダ装置の配置例を示す図である。 本発明の実施形態に係る周辺他車探索処理の手順を示すフローチャートである。 本発明の実施形態に係る周辺他車探索処理の処理例を示す図である。

符号の説明

１…ナビゲーション装置、２…レーダ装置、３…カメラ、１１…ＧＰＳ受信機、１２…車両状態センサ、１３…道路地図データ記憶部、１４…現在状態算出部、１５…ルート探索部、１６…周辺他車探索部、１７…メモリ、１８…制御部、１９…案内画像生成部、２０…操作部、２１…表示装置、２２…認識処理用メモリ。

Claims (3)

1. 自動車に搭載された、自車周辺の他車を検出する他車検出装置であって、
   自車周辺に存在する物体の方向を検出する周辺物体検出手段と、
   各々自車周辺を撮影する複数のカメラとを有し、
   前記複数のカメラの各々の撮影角度範囲は、少なくとも他の一つのカメラの撮影角度範囲と重複し、
   当該他車検出装置は、
   前記周辺物体検出手段が検出した物体の方向に基づいて、当該物体全体を撮影角度範囲内に収めていると推定されるカメラを選択するカメラ選択手段と、
   カメラ選択手段が選択したカメラが撮影した画像に対する画像認識処理によって他車を検出する画像認識処理手段とを有することを特徴とする他車位置検出装置。
2. 請求項１記載の他車検出装置であって、
   前記周辺物体検出手段は、レーダ装置であることを特徴とする他車検出装置。
3. 自動車に搭載された他車検出装置において、自車周辺の他車を検出する他車検出方法であって、
   自車周辺に存在する物体の方向を検出するステップと、
   各々自車周辺を撮影する複数のカメラのうちから、検出した物体の方向に基づいて、当該物体全体を撮影角度範囲内に収めていると推定されるカメラを選択するステップと、
   選択したカメラが撮影した画像に対する画像認識処理によって他車を検出するステップとを有し、
   前記複数のカメラの各々の撮影角度範囲は、少なくとも他の一つのカメラの撮影角度範囲と重複していることを特徴とする他車検出方法。

Images