JP2009217680A - 横断物体検知装置および横断物体検知方法、並びにプログラム - Google Patents

Abstract

【課題】横断物体が比較的小さい場合であっても、横断物体を高速かつ正確に検知する。
【解決手段】送信部２１は、電磁波のビームを横断物体の横断方向にスキャンする。受信部２２はビームの反射波を受信する。検知部２３は、その反射波により、送信部２１に対するビームが照射された物体の方向を検知する。カメラ１２は、送信部２１のスキャン範囲を含む範囲を撮像する。抽出部４２は、物体の方向だけに基づいて、カメラ１２により撮像された画像から、物体の方向の画像を物体存在領域画像として抽出する。検知部４３は、物体存在領域画像に基づいて、物体のうちの横断物体を検知する。本発明は、例えば、横断物体検知装置に適用することができる。
【選択図】図１

Description

本発明は、横断物体検知装置および横断物体検知方法、並びにプログラムに関し、特に、横断物体が比較的小さい場合であっても、横断物体を高速かつ正確に検知することができるようにした横断物体検知装置および横断物体検知方法、並びにプログラムに関する。

我が国での歩行者事故の大半は道路横断中に発生している。そのため、車両において、進行路を横断する歩行者を検知することは重要である。

従来、歩行者などの、車両の進行路を横断する横断物体を検知する装置としては、レーザレーダを用いたものがある（例えば、特許文献１参照）。

しかしながら、歩行者は車両や道路構造物に比べて小さいため、レーザレーダにより照射され、歩行者により反射されたレーザの反射波は小さい。従って、例えば、歩行者がガードレールなどの道路構造物の近傍にいる場合、歩行者からの小さい反射波が、道路構造物からの比較的大きい反射波と混在し、歩行者を確実に検知することができない。

また、レーザレーダなどの電磁波を用いたレーダでは、電磁波のビームが広がりをもっているため、横断方向の分解能に限界がある。従って、横断方向の物体の動きを捉えることが不得手であり、その物体が横断物体なのか、静止している道路構造物なのかを判別することが困難である。

そこで、自車両の前方の画像を撮像し、その画像から横断物体を検知することが考えられている。この場合、画像の全領域から横断物体を検知すると、処理時間に無駄が発生するため、レーザレーダを用いて自車両の前方に存在する物体のレーザレーダからの距離と、レーザレーダに対する方向とを検知し、その距離と方向に基づいて、横断物体の検知に用いる画像の領域として限定することにより、高速で横断物体を検知することが考えられる。

特開平１０−１０５８９１号公報

しかしながら、上述したように、歩行者がガードレールなどの道路構造物の近傍にいる場合、歩行者からの小さい反射波が、道路構造物からの比較的大きい反射波と混在するので、レーザレーダは、歩行者までの正確な距離を算出することができない。その結果、歩行者を含まない領域が、横断物体の検知に用いられる領域として限定され、歩行者を横断物体として検知することができない場合がある。

本発明は、このような状況に鑑みてなされたものであり、横断物体が比較的小さい場合であっても、横断物体を高速かつ正確に検知することができるようにするものである。

本発明の一側面の横断物体検知装置は、車両の進行路を横断する横断物体を検知する横断物体検知装置において、電磁波のビームを横断物体の横断方向にスキャンする照射手段と、ビームの反射波を受信する受信手段と、受信手段により受信された反射波により、照射手段に対するビームが照射された物体の方向を検知する方向検知手段と、照射手段のスキャン範囲を含む範囲を撮像する撮像手段と、物体の方向だけに基づいて、撮像手段により撮像された画像から、物体の方向の画像を物体存在領域画像として抽出する抽出手段と、物体存在領域画像に基づいて、物体のうちの横断物体を検知する横断物体検知手段とを備える。

本発明の一側面の横断物体検知装置においては、電磁波のビームが車両の進行路を横断する横断物体の横断方向にスキャンされ、ビームの反射波が受信され、受信された反射波により、電磁波のビームを照射する照射手段に対するビームが照射された物体の方向が検知され、照射手段のスキャン範囲を含む範囲が撮像され、物体の方向だけに基づいて、撮像された画像から、物体の方向の画像が物体存在領域画像として抽出され、物体存在領域画像に基づいて、物体のうちの横断物体が検知される。

従って、横断物体が比較的小さい場合であっても、横断物体の方向だけに基づいて、横断物体を含む領域の画像を正確に抽出することができる。その結果、横断物体を高速かつ正確に検知することができる。

この照射手段、受信手段、方向検知手段は、例えば、レーザレーダ、ミリ波レーダなどのレーダにより構成される。撮像手段は、例えば、カメラにより構成される。抽出手段、横断物体検知手段は、例えば、CPU（Central Processing Unit）により構成される。

この横断物体検知装置は、車両の進行方向に物体が移動しているかを判定する判定手段をさらに備え、方向検知手段は、さらに、反射波により、照射手段に対する物体の相対速度の大きさと方向を表す速度ベクトルを検知し、判定手段は、方向検知手段により検知された物体の速度ベクトルに基づいて、その物体が進行方向に移動しているかを判定し、抽出手段は、物体が進行方向に移動していないと判定された場合、その物体の方向だけに基づいて、物体存在領域画像を抽出することができる。

これにより、抽出される物体存在領域画像を削減し、横断物体を検知するために要する時間を短縮することができる。その結果、より高速で横断物体を検知することができる。

判定手段は、例えば、レーザレーダにより構成される。

この横断物体検知装置において、横断物体検知手段はまた、物体存在領域画像と、それより前に撮像された画像の物体存在領域画像とに基づいて、撮像手段に対する横断物体の相対位置および相対速度の大きさと方向を表す速度ベクトルを検知し、照射手段は、横断物体の相対位置および速度ベクトルに基づいて、その横断物体の照射手段に対する現在の方向を予測し、その方向に照射するビームを制御することができる。

これにより、横断物体の方向を正確に検知することができる。

この横断物体検知装置において、横断物体検知手段は、物体存在領域画像と、それより前に撮像された画像の物体存在領域画像とに基づいて、物体存在領域画像のオプティカルフローを算出し、そのオプティカルフローに基づいて横断物体を検知することができる。

これにより、横断物体を正確に検知することができる。

この横断物体検知装置において、横断物体検知手段はまた、オプティカルフローに基づいて、撮像手段に対する横断物体の相対位置および相対速度の大きさと方向を表す速度ベクトルを検知し、照射手段は、横断物体の相対位置および相対ベクトルに基づいて、その横断物体の照射手段に対する現在の方向を予測し、その方向に照射するビームを制御することができる。

これにより、横断物体の方向を正確に検知することができる。

この横断物体検知装置において、横断物体検知手段はまた、物体存在領域画像に基づいて、撮像手段から横断物体までの距離を検知し、抽出手段は、方向検知手段により検知された物体の方向と、横断物体検知手段により検知された距離とに基づいて、物体存在領域画像を抽出することができる。

これにより、物体存在領域画像をさらに限定し、横断物体を検知するために要する時間を短縮することができる。その結果、より高速で横断物体を検知することができる。

本発明の一側面の横断物体検知方法は、車両の進行路を横断する横断物体を検知する横断物体検知装置の横断物体検知方法において、電磁波のビームを横断物体の横断方向にスキャンする照射ステップと、ビームの反射波を受信する受信ステップと、受信された反射波により、ビームをスキャンする照射手段に対するビームが照射された物体の方向を検知する方向検知ステップと、照射手段のスキャン範囲を含む範囲を撮像する撮像ステップと、物体の方向だけに基づいて、撮像された画像から、物体の方向の画像を物体存在領域画像として抽出する抽出ステップと、物体存在領域画像に基づいて、物体のうちの横断物体を検知する横断物体検知ステップとを含む。

本発明の一側面の横断物体検知方法においては、電磁波のビームが車両の進行路を横断する横断物体の横断方向にスキャンされ、ビームの反射波が受信され、受信された反射波により、ビームをスキャンする照射手段に対するビームが照射された物体の方向が検知され、照射手段のスキャン範囲を含む範囲が撮像され、物体の方向だけに基づいて、撮像された画像から、物体の方向の画像が物体存在領域画像として抽出され、物体存在領域画像に基づいて、物体のうちの横断物体が検知される。

従って、横断物体が比較的小さい場合であっても、横断物体の方向だけに基づいて、横断物体を含む領域の画像を正確に抽出することができる。その結果、横断物体を高速かつ正確に検知することができる。

この照射ステップは、例えば、レーダにより、電磁波のビームを横断物体の横断方向にスキャンする照射ステップにより構成され、受信ステップは、例えば、レーダにより、ビームの反射波を受信する受信ステップにより構成され、方向検知ステップは、例えば、レーダにより、受信された反射波により、レーダに対するビームが照射された物体の方向を検知する方向検知ステップにより構成される。撮像ステップは、例えば、カメラにより、レーダのスキャン範囲を含む範囲を撮像する撮像ステップにより構成される。抽出ステップは、例えば、CPUにより、物体の方向だけに基づいて、撮像された画像から、物体の方向の画像を物体存在領域画像として抽出する抽出ステップにより構成され、検知ステップは、例えば、CPUにより、物体存在領域画像に基づいて、物体のうちの横断物体を検知する横断物体検知ステップにより構成される。

本発明の一側面のプログラムは、車両の進行路を横断する横断物体を検知する処理を、コンピュータに行わせるプログラムにおいて、電磁波のビームを横断物体の横断方向にスキャンする照射手段と、ビームの反射波を受信する受信手段と、受信手段により受信された反射波により、照射手段に対するビームが照射された物体の方向を検知する方向検知手段とを備えるビーム照射装置により検知された物体の方向だけに基づいて、照射手段のスキャン範囲を含む範囲を撮像する撮像装置により撮像された画像から物体を含む領域の画像を物体存在領域画像として抽出する抽出ステップと、物体存在領域画像に基づいて、物体のうちの横断物体を検知する横断物体検知ステップとを含む処理をコンピュータに行わせる。

本発明の一側面のプログラムにおいては、電磁波のビームを車両の進行路を横断する横断物体の横断方向にスキャンする照射手段と、ビームの反射波を受信する受信手段と、受信手段により受信された反射波により、照射手段に対するビームが照射された物体の方向を検知する方向検知手段とを備えるビーム照射装置により検知された物体の方向だけに基づいて、照射手段のスキャン範囲を含む範囲を撮像する撮像装置により撮像された画像から、物体の方向の画像が物体存在領域画像として抽出され、物体存在領域画像に基づいて、物体のうちの横断物体が検知される。

従って、横断物体が比較的小さい場合であっても、横断物体の方向だけに基づいて、横断物体を含む領域の画像を正確に抽出することができる。その結果、横断物体を高速かつ正確に検知することができる。

この抽出ステップは、例えば、CPUにより、電磁波のビームを横断物体の横断方向にスキャンする照射手段と、ビームの反射波を受信する受信手段と、受信手段により受信された反射波により、照射手段に対するビームが照射された物体の方向を検知する方向検知手段とを備えるレーダにより検知された物体の方向だけに基づいて、レーダのスキャン範囲を含む範囲を撮像するカメラにより撮像された画像から、物体の方向の画像を物体存在領域画像として抽出する抽出ステップにより構成され、横断物体検知ステップは、例えば、CPUにより、物体存在領域画像に基づいて、物体のうちの横断物体を検知する横断物体検知ステップにより構成される。

以上のように、本発明の一側面によれば、横断物体が比較的小さい場合であっても、横断物体を高速かつ正確に検知することができる。

図１は、本発明を適用した横断物体検知装置の第１の実施の形態の構成例を示すブロック図である。

図１の横断物体検知装置１０は、レーザレーダやミリ波レーダなどのレーダ１１、カメラ１２、および処理部１３により構成される。横断物体検知装置１０は、例えば車両に載置され、車両の進行路を横断する物体である横断物体を検知する。

詳細には、横断物体検知装置１０において、レーダ１１は、送信部２１、受信部２２、検知部２３、および通信部２４により構成される。送信部２１は、電磁波のビームを外部（例えば、車両の前方）に照射し、その照射方向を順次変更することにより、２次元のスキャン範囲内で検知対象とする横断物体の横断方向に電磁波のビームをスキャンする。また、送信部２１は、電磁波のビームの照射方向を変更するたびに、その照射方向を表す情報を検知部２３に通知する。

送信部２１により照射された電磁波のビームは、外部の横断物体として検知される物体の候補となる物体（以下、横断物体候補という）により反射され、反射波として受信部２２に入力される。受信部２２は、例えば反射波の強度に基づいて、横断物体候補の有無を判定し、横断物体候補がある場合、その旨を表す検知信号を検知部２３に通知する。

検知部２３は、受信部２２から供給される検知信号に応じて、その直前に送信部２１から通知されてきた情報が表す照射方向を、送信部２１に対する横断物体候補の方向として検知し、その方向を表す方向情報を通信部２４に供給する。通信部２４は、検知部２３から供給される方向情報を処理部１３に送信する。

カメラ１２は、レーダ１１のスキャン範囲を含む範囲を所定の時間間隔で撮像し、その結果得られる画像を処理部１３に入力する。

処理部１３は、画像処理部３１と通信部３２により構成される。画像処理部３１は、取得部４１、抽出部４２、および検知部４３により構成される。取得部４１は、カメラ１２から入力される画像を取得し、抽出部４２に供給する。

抽出部４２は、通信部３２から供給される、レーダ１１の通信部２４から送信されてきた方向情報に基づいて、取得部４１から供給される画像から、その方向情報が表す方向の画像を物体存在領域画像として抽出する。そして、抽出部４２は、物体存在領域画像を検知部４３に供給する。

検知部４３は、抽出部４２から供給される物体存在領域画像に対して、マッチングなどの所定の画像処理を行い、物体存在領域画像に含まれる横断物体を検知する。そして、検知部４３は、横断物体を検知した旨を、例えば横断物体との衝突を回避するように車両を制御する外部の制御装置（図示せず）に通知する。

以上のように、抽出部４２は、方向情報だけに基づいて物体存在領域画像を抽出するので、横断物体候補が比較的小さく、レーダ１１により横断物体までの正確な距離が算出されない場合であっても、横断物体候補を含む物体存在領域画像を正確に抽出することができる。その結果、検知部４３は、横断物体候補が含まれない画像に対して無駄に画像処理を行う必要がなくなり、高速で横断物体を検知することができる。また、検知部４３は、横断物体候補を含む物体存在領域画像から、横断物体を正確に検知することができる。

通信部３２は、レーダ１１の通信部２４から送信されてくる方向情報を受信し、抽出部４２に供給する。

次に、図２と図３を参照して、図１の横断物体検知装置１０における横断物体の検知の詳細について説明する。

図２は、横断物体検知装置１０を上から見た図である。

図２では、レーダ１１のスキャン範囲の横断方向の中心と、カメラ１２の撮像範囲の横断方向の中心が一致するように、レーダ１１の上部にカメラ１２が配置されている。

図２に示すように、レーダ１１は、電磁波のビームをスキャン範囲内で横断方向にスキャンし、横断物体としての歩行者５１が進行路を横断している場合、歩行者５１によって反射された反射波を受信する。これにより、レーダ１１のスキャン範囲の横断方向の中心から角度θだけ傾いた方向が、歩行者５１の方向として、レーダ１１の検知部２３により検知される。

一方、カメラ１２は、レーダ１１のスキャン範囲を含む所定の範囲を撮像範囲として撮像を行い、図３に示す画像６１を取得する。そして、処理部１３は、図３に示すように、検知部２３により検知された歩行者５１の方向に基づいて、画像６１から物体存在領域画像６２を抽出する。図３の例では、歩行者５１の方向の画像に対応する画像６１上の線を１つの対角線とする長方形の領域の画像が、物体存在領域画像６２として抽出される。処理部１３は、物体存在領域画像６２に対して所定の画像処理を行うことにより、物体存在領域画像６２に含まれる歩行者５１を横断物体として検知する。

次に、図４のフローチャートを参照して、図１のレーダ１１による方向検知処理について説明する。この方向検知処理は、例えば、横断物体検知装置１０の電源がオンにされたとき、開始される。

ステップＳ１１において、送信部２１は、スキャン範囲内で電磁波のビームをスキャンする。このとき、送信部２１は、電磁波のビームの照射方向を変更するたびに、その照射方向を表す情報を検知部２３に通知する。ステップＳ１２において、受信部２２は、送信部２１により照射されたビームの反射波を受信する。

ステップＳ１３において、受信部２２は、反射波の強度に基づいて横断物体候補があるかを判定し、横断物体候補があると判定した場合、検知信号を検知部２３に通知する。そして、処理はステップＳ１４に進む。

ステップＳ１４において、検知部２３は、受信部２２から供給される検知信号に応じて、その直前に送信部２１から通知されてきた情報が表す照射方向を、送信部２１に対する横断物体候補の方向として検知する。そして、検知部２３は、その方向を表す方向情報を通信部２４に供給する。ステップＳ１５において、通信部２４は、検知部２３から供給される方向情報を処理部１３に送信し、処理はステップＳ１６に進む。

一方、ステップＳ１３において、横断物体候補がないと判定された場合、処理はステップＳ１４およびＳ１５をスキップし、ステップＳ１６に進む。

ステップＳ１６において、送信部２１は、方向検知処理を終了するか、例えば、電源のオフが指令されたかを判定する。ステップＳ１６で、方向検知処理を終了しないと判定された場合、処理はステップＳ１１に戻り、方向検知処理を終了すると判定されるまで、上述した処理が繰り返される。そして、ステップＳ１６で方向検知処理を終了すると判定された場合、処理は終了する。

次に、図５のフローチャートを参照して、図１の処理部１３による横断物体検知処理について説明する。この画像処理は、例えば、カメラ１２から画像が入力されたとき開始される。

ステップＳ３１において、取得部４１は、カメラ１２から入力される画像を取得し、抽出部４２に供給する。ステップＳ３２において、通信部３２は、図４のステップＳ１５でレーダ１１の通信部２４から送信されてくる方向情報を受信し、抽出部４２に供給する。そして、以降のステップＳ３３およびＳ３４の処理は、受信された方向情報ごとに行われる。

ステップＳ３３において、抽出部４２は、通信部３２から供給される方向情報に基づいて、取得部４１から供給される画像から物体存在領域画像を抽出する。そして、抽出部４２は、物体存在領域画像を検知部４３に供給する。

ステップＳ３４において、検知部４３は、抽出部４２から供給される物体存在領域画像に対して所定の画像処理を行い、物体存在領域画像に含まれる横断物体を検知する。そして、検知部４３は、横断物体を検知した旨を外部の制御装置（図示せず）に通知し、横断物体と車両の衝突を回避させる。

図６は、本発明を適用した横断物体検知装置の第２の実施の形態の構成例を示すブロック図である。

図６の横断物体検知装置１１０では、レーダ１１１により、横断物体候補が車両の進行方向に移動しているかが判定され、進行方向に移動していない横断物体候補の方向情報だけが処理部１３に送信される。

詳細には、横断物体検知装置１１０は、カメラ１２、処理部１３、およびレーダ１１１により構成される。なお、図６において、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。

レーダ１１１は、受信部２２、通信部２４、送信部１２１、検知部１２２、および判定部１２３により構成される。

レーダ１１１において、送信部１２１は、図１の送信部２１と同様に、２次元のスキャン範囲内で横断方向に電磁波のビームをスキャンする。また、送信部１２１は、電磁波のビームを照射するとき、電磁波のビームを照射した旨を表す照射信号と電磁波のビームの照射方向を表す情報を検知部１２２に通知する。

検知部１２２は、図１の検知部２３と同様に、受信部２２から供給される検知信号に応じて、送信部１２１に対する横断物体候補の方向を検知する。また、検知部１２２は、送信部１２１から照射信号が供給されてから、受信部２２から検知信号が供給されるまでの時間に基づいて、送信部１２１から横断物体候補までの距離を検知する。そして、検知部１２２は、送信部１２１に対する横断物体候補の方向と距離を一時的に記憶する。

また、検知部１２２は、今回のスキャンで検知された送信部１２１に対する横断物体候補の方向と距離により表される横断物体候補の位置ベクトルから、前回のスキャンで検知された送信部１２１に対する横断物体候補の方向と距離により表される横断物体候補の位置ベクトルを減算し、送信部１２１に対する横断物体候補の相対速度の大きさと方向を表す速度ベクトルを検知する。そして、検知部１２２は、検知された横断物体候補の速度ベクトルと方向情報を判定部１２３に供給する。

判定部１２３は、検知部１２２から供給される横断物体候補の速度ベクトルに基づいて、その横断物体候補が車両の進行方向に移動しているかを判定する。そして、判定部１２３は、進行方向に移動していないと判定された横断物体候補の方向情報を通信部２４に供給する。これにより、処理部１３には、横断物体候補のうちの、進行方向に移動する移動車両などの物体以外のものの方向情報だけが送信される。

このように、横断物体検知装置１１０では、横断物体候補のうち、車両の進行方向に移動していないもの、即ち横断物体である可能性があるものの方向情報だけが処理部１３に送信されるので、全ての横断物体候補の方向情報に基づいて抽出された物体存在領域画像に対して画像処理を行う場合に比べて、処理部１３による無駄な画像処理を削減することができる。その結果、処理部１３による画像処理の処理時間が短縮され、高速で横断物体を検知することができる。

次に、図７のフローチャートを参照して、図６のレーダ１１１による方向検知処理について説明する。この方向検知処理は、例えば、横断物体検知装置１１０の電源がオンにされたとき、開始される。

ステップＳ１１１において、送信部１２１は、図４のステップＳ１１の処理と同様に、スキャン範囲内で電磁波のビームをスキャンする。また、送信部１２１は、電磁波のビームを照射するとき、照射信号と電磁波のビームの照射方向を表す情報を検知部１２２に通知する。

ステップＳ１１２において、図４のステップＳ１２の処理と同様に反射波が受信され、ステップＳ１１３において、図４のステップＳ１３の処理と同様に横断物体候補があるかが判定される。

ステップＳ１１４において、検知部１２２は、受信部２２から供給される検知信号と、送信部１２１から供給される照射信号とに基づいて、送信部１２１に対する横断物体候補の方向と距離を検知する。そして、検知部１２２は、送信部１２１に対する横断物体候補の方向と距離を一時的に記憶する。

ステップＳ１１５において、検知部１２２は、今回のスキャンで検知された送信部１２１に対する横断物体候補の方向と距離により表される横断物体候補の位置ベクトルから、前回のスキャンで検知された送信部１２１に対する横断物体候補の方向と距離により表される横断物体候補の位置ベクトルを減算し、送信部１２１に対する横断物体候補の速度ベクトルを検知する。そして、検知部１２２は、検知された横断物体候補の速度ベクトルと方向情報を判定部１２３に供給する。

なお、ステップＳ１１１で最初のスキャンが行われた場合、または、前回のスキャンで横断物体候補が検知されていない場合、ステップＳ１１５乃至Ｓ１１７の処理はスキップされ、処理はステップＳ１１８に進む。

ステップＳ１１６において、判定部１２３は、検知部１２２から供給される各横断物体候補の速度ベクトルに基づいて、各横断物体候補が車両の進行方向に移動しているか、即ち各速度ベクトルの車両の進行方向の大きさが略ゼロではないかを判定し、その判定結果により、車両の進行方向に移動していない横断物体候補があるかを判定する。

ステップＳ１１６で、車両の進行方向に移動していない横断物体候補があると判定された場合、判定部１２３は、車両の進行方向に移動していない横断物体候補の方向情報を通信部２４に供給する。そして、ステップＳ１１７において、通信部２４は、判定部１２３から供給される、車両の進行方向に移動していない横断物体候補の方向情報を処理部１３に送信し、処理はステップＳ１１８に進む。

一方、ステップＳ１１６で、車両の進行方向に移動していない横断物体候補がない、即ち、全ての横断物体候補が車両の進行方向に移動していると判定された場合、処理はステップＳ１１７をスキップして、ステップＳ１１８に進む。

ステップＳ１１８において、送信部１２１は、図４のステップＳ１６の処理と同様に、方向検知処理を終了するかを判定する。ステップＳ１１８で方向検知処理を終了しないと判定された場合、処理はステップＳ１１１に戻り、方向検知処理を終了すると判定されるまで、上述した処理が繰り返される。そして、ステップＳ１１８で方向検知処理を終了すると判定された場合、処理は終了する。

図８は、本発明を適用した横断物体検知装置の第３の実施の形態の構成例を示すブロック図である。

図８の横断物体検知装置２１０では、処理部２１２が、横断物体に関する情報である横断物体情報をレーダ２１１にフィードバックし、レーダ２１１は、その横断物体情報に基づいて電磁波のビームを制御する。

詳細には、横断物体検知装置２１０は、カメラ１２、レーダ２１１、および処理部２１２により構成される。なお、図８において、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。

横断物体検知装置２１０において、レーダ２１１は、受信部２２、検知部２３、送信部２２１、および通信部２２２により構成される。

レーダ２１１において、送信部２２１は、通信部２２２から供給される横断物体情報に基づいて、横断物体の送信部２２１に対する現在の方向を予測する。そして、送信部２２１は、その方向に照射する電磁波のビームの強度が強くなるように、各照射方向のビームの強度を制御しながら、スキャン範囲内で横断方向に電磁波のビームをスキャンする。これにより、横断物体の現在の方向として予測される予測方向からの反射波のS/N比が高くなり、検知部２３は、より正確に横断物体候補の方向を検知することができる。

なお、電磁波のビームの制御方法は、横断物体の予測方向からの反射波のS/N比を高くすることができれば、どのような方法であってもよい。例えば、送信部２２１が電磁波のビームをパルス的に照射する場合、横断物体の予測方向に照射される電磁波のビームのパルス数が、他の方向に比べて多くなるように、電磁波のビームを制御するようにしてもよい。

また、送信部２２１は、図１の送信部２１と同様に、電磁波のビームの照射方向を変更するたびに、その照射方向を表す情報を検知部２３に通知する。

通信部２２２は、図１の通信部２４と同様に、検知部２３から供給される方向情報を処理部２１２に送信する。また、通信部２２２は、処理部２１２の通信部２３２から送信されてくる横断物体情報を受信し、送信部２２１に供給する。

処理部２１２は、画像処理部２３１、通信部２３２、および記憶部２３３により構成される。また、画像処理部２３１は、取得部４１、抽出部２４１、および検知部２４２により構成される。

画像処理部２３１において、抽出部２４１は、図１の抽出部４２と同様に、通信部２３２から供給される、レーダ２１１の通信部２２２から送信されてきた方向情報に基づいて、取得部４１から供給される画像から、その方向情報が表す方向の画像を物体存在領域画像として抽出する。そして、抽出部２４１は、方向情報と物体存在領域画像を検知部２４２に供給する。

検知部２４２は、図１の検知部４３と同様に、抽出部２４１から供給される物体存在領域画像に対して所定の画像処理を行い、物体存在領域画像に含まれる横断物体を検知する。そして、検知部２４２は、図１の検知部４３と同様に、横断物体を検知した旨を、横断物体との衝突を回避するように車両を制御する外部の制御装置（図示せず）に通知する。また、検知部２４２は、抽出部２４１から供給される物体存在領域画像に基づいて、検知された横断物体の画像上の位置から、カメラ１２に対する横断物体の相対位置を検知する。

さらに、検知部２４２は、抽出部２４１から供給される方向情報に基づいて、記憶部２３３に記憶されている、いま横断物体が検知された物体存在領域画像より前に撮像された画像の物体存在領域画像（以下、過去物体存在領域画像という）のうち、その方向情報が表す方向近傍の過去物体存在領域画像を読み出す。そして、検知部２４２は、検知された横断物体と、記憶部２３３から読み出された過去物体存在領域画像とのマッチングを行うことにより、カメラ１２に対する横断物体の相対速度の大きさおよび方向を表す速度ベクトルを検知する。

また、検知部２４２は、カメラ１２に対する横断物体の相対位置および速度ベクトルを表す情報を、横断物体情報として通信部２３２に供給する。検知部２４２は、抽出部２４１から供給される物体存在領域画像を記憶部２３３に供給して記憶させる。

通信部２３２は、図１の通信部３２と同様に、レーダ２１１の通信部２２２から送信されてくる方向情報を受信し、抽出部２４１に供給する。また、通信部２３２は、検知部２４２から供給される横断物体情報をレーダ２１１の通信部２２２に送信する。記憶部２３３は、検知部２４２から供給される物体存在領域画像を記憶する。

次に、図９のフローチャートを参照して、図８のレーダ２１１による方向検知処理について説明する。この方向検知処理は、例えば、横断物体検知装置２１０の電源がオンにされたとき、開始される。

図９において、ステップＳ２１１乃至Ｓ２１６の処理は、図４のステップＳ１１乃至Ｓ１６の処理と同様であるので、説明は省略する。

なお、図９の方向検知処理では、ステップＳ２１６で方向検知処理を終了しないと判定された場合、ステップＳ２１７において、通信部２２２は、処理部２１２の通信部２３２から送信されてくる横断物体情報を受信し、送信部２２１に供給する。

ステップＳ２１８において、送信部２２１は、通信部２２２から供給される横断物体情報に基づいて、横断物体の送信部２２１に対する現在の方向を予測し、その方向に照射する電磁波のビームの強度が強くなるように、各照射方向の電磁波のビームの強度を設定する。そして、処理はステップＳ２１１に戻り、送信部２２１は、ステップＳ２１８で設定された各照射方向の電磁波のビームの強度にしたがって各照射方向のビームの強度を制御しながら、電磁波のビームをスキャンする。

次に、図１０のフローチャートを参照して、図８の処理部２１２による横断物体検知処理について説明する。この横断物体検知処理は、例えば、カメラ１２から画像が入力されたとき開始される。

図１０において、ステップＳ２３１乃至Ｓ２３４の処理は、図５のステップＳ３１乃至Ｓ３４の処理と同様であるので、説明は省略する。

ステップＳ２３５において、検知部２４２は、ステップＳ２３４で検知された横断物体の画像上の位置から、カメラ１２に対する横断物体の相対位置を検知する。

ステップＳ２３６において、検知部２４２は、抽出部２４１から供給される方向情報に基づいて、記憶部２３３に記憶されている過去物体存在領域画像のうち、その方向情報が表す方向近傍の過去物体存在領域画像を読み出し、その過去物体存在領域画像と、ステップＳ２３４で検知された横断物体とのマッチングを行うことにより、横断物体の速度ベクトルを検知する。そして、検知部２４２は、横断物体の相対位置および速度ベクトルを表す情報を横断物体情報として通信部２３２に供給する。また、検知部２４２は、抽出部２４１から供給される物体存在領域画像を記憶部２３３に供給して記憶させる。

ステップＳ２３７において、通信部２３２は、検知部２４２から供給される横断物体情報をレーダ２１１の通信部２２２に送信し、処理は終了する。

図１１は、本発明を適用した横断物体検知装置の第４の実施の形態の構成例を示すブロック図である。

図１１の横断物体検知装置３１０では、処理部３１１が、方向情報だけでなく、物体存在領域画像に基づいて前回検知されたカメラ１２から横断物体までの距離を表す距離情報にも基づいて、物体存在領域画像を抽出し、その物体存在領域画像のオプティカルフローを算出することにより横断物体を検知する。

詳細には、横断物体検知装置３１０は、カメラ１２、レーダ２１１、および処理部３１１により構成される。なお、図１１において、図１や図８と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。

横断物体検知装置３１０において、処理部３１１は、通信部２３２、記憶部２３３、および画像処理部３３１により構成される。また、画像処理部３３１は、取得部４１、抽出部３４１、および検知部３４２により構成される。

画像処理部３３１において、抽出部３４１は、通信部２３２から供給される方向情報と、検知部３４２から供給される距離情報とに基づいて、取得部４１から供給される画像から、その方向情報が表す方向で、かつ、カメラ１２から距離情報が表す距離分離れた位置の画像を物体存在領域画像として抽出する。そして、抽出部３４１は、図８の抽出部２４１と同様に、方向情報と物体存在領域画像を検知部３４２に供給する。

検知部３４２は、図８の検知部２４２と同様に、抽出部３４１から供給される方向情報に基づいて、記憶部２３３に記憶されている過去物体存在領域画像のうち、その方向情報が表す方向近傍の過去物体存在領域画像を読み出す。また、検知部３４２は、いま抽出部３４１から供給される物体存在領域画像（以下、現在物体存在領域画像という）と、記憶部２３３から読み出された過去物体存在領域画像とに基づいて、現在物体存在領域画像のオプティカルフローを算出する。

そして、検知部３４２は、算出されたオプティカルフローに基づいて横断物体を検知し、図１の検知部４３と同様に、横断物体を検知した旨を、横断物体との衝突を回避するように車両を制御する外部の制御装置（図示せず）に通知する。

このように、検知部３４２は、オプティカルフローに基づいて横断物体を検知するので、外乱となる静止している道路構造物などの物体が横断物体として検知されることを防止することができる。その結果、より正確に横断物体を検知することができる。

また、検知部３４２は、図８の検知部２４２と同様に、現在物体存在領域画像に基づいて、検知された横断物体の画像上の位置から、カメラ１２に対する横断物体の相対位置を検知する。そして、検知部３４２は、その横断物体の相対位置から、カメラ１２から横断物体までの距離を求め、その距離を表す距離情報を抽出部２４１に供給する。検知部３４２は、検知された横断物体のオプティカルフローに基づいて、カメラ１２に対する横断物体の速度ベクトルを検知する。

さらに、検知部３４２は、図８の検知部２４２と同様に、横断物体情報を通信部２３２に供給する。また、検知部３４２は、図８の検知部２４２と同様に、抽出部３４１から供給される物体存在領域画像を記憶部２３３に供給して記憶させる。

以上のように、横断物体検知装置３１０は、方向情報だけでなく、物体存在領域画像に基づいて正確に検知された、カメラ１２から横断物体までの距離を表す距離情報にも基づいて、物体存在領域画像を抽出するので、物体存在領域画像を正確に抽出するとともに、物体存在領域画像をさらに限定することができる。その結果、横断物体を正確かつ高速に検知することができる。

次に、図１２を参照して、図１１の検知部３４２による横断物体の検知について説明する。

図１２に示す画像３６１がカメラ１２により撮像され、レーダ２１１により横断物体候補として検知された歩行者３６２の方向が、レーダ２１１のスキャン範囲の横断方向の中心から角度θだけ傾いた方向である場合、例えば、その方向の画像に対応する画像３６１上の線を１つの対角線とする長方形の領域の画像が、物体存在領域画像３６３として抽出される。なお、ここでは、まだ横断物体が検知されていないものとし、抽出部３４１には、検知部３４２から距離情報が供給されていないものとする。

検知部３４２は、現在物体存在領域画像としての物体存在領域画像３６３と、その物体存在領域画像３６３に対応する方向近傍の過去物体存在領域画像とに基づいて、物体存在領域画像３６３のオプティカルフローを算出する。図１２の例では、歩行者３６２が図中右方向に横断しており、歩行者３６２の周辺には、右方向のオプティカルフローが集まる。

従って、検知部３４２は、その右方向のオプティカルフローが集まっている歩行者３６２を横断物体として検知し、その歩行者３６２の画像３６１上の位置から、カメラ１２に対する歩行者３６２の相対位置を検知する。そして、検知部３４２は、その相対位置から、カメラ１２から歩行者３６２までの距離Ｌを検知する。この距離Ｌを表す距離情報は、抽出部３４１に供給され、次の物体存在領域画像の抽出に用いられる。また、検知部３４２は、歩行者３６２に集まる右方向のオプティカルフローに基づいて、カメラ１２に対する横断物体の速度ベクトルを検知する。

次に、図１３のフローチャートを参照して、図１１の処理部３１１による横断物体検知処理について説明する。この横断物体検知処理は、例えば、カメラ１２から画像が入力されたとき開始される。

ステップＳ３３１において、取得部４１は、図５のステップＳ３１の処理と同様に、カメラ１２から入力される画像を取得する。ステップＳ３３２において、通信部２３２は、図５のステップＳ３２の処理と同様に、レーダ２１１の通信部２２２から送信されてくる方向情報を受信し、抽出部３４１に供給する。そして、以降のステップＳ３３３乃至Ｓ３４０の処理は、受信された方向情報ごとに行われる。

ステップＳ３３３において、抽出部３４１は、後述するＳ３４０で検知部３４２から出力される距離情報を取得する。ステップＳ３３４において、抽出部３４１は、通信部２３２から供給される方向情報と、検知部３４２から取得した距離情報とに基づいて、取得部４１から供給される画像から物体存在領域画像を抽出する。そして、抽出部３４１は、方向情報と物体存在領域画像を検知部３４２に供給する。

なお、最初の横断物体検知処理では、まだ距離情報が生成されていないので、ステップＳ３３３の処理がスキップされ、ステップＳ３３４では、方向情報に基づいて物体存在領域画像が抽出される。

ステップＳ３３５において、検知部３４２は、図８の検知部２４２と同様に、抽出部３４１から供給される方向情報に基づいて、記憶部２３３に記憶されている過去物体存在領域画像のうち、その方向情報が表す方向近傍の過去物体存在領域画像を読み出し、その過去物体存在領域画像と、ステップＳ３３４で抽出部３４１から供給される物体存在領域画像である現在物体存在領域画像とに基づいて、現在物体存在領域画像のオプティカルフローを算出する。

ステップＳ３３６において、検知部３４２は、ステップＳ３３５で算出されたオプティカルフローに基づいて、現在物体存在領域画像に含まれる横断物体を検知する。そして、検知部３４２は、横断物体を検知した旨を外部の制御装置（図示せず）に通知し、横断物体と車両の衝突を回避させる。ステップＳ３３７において、検知部３４２は、ステップＳ３３６で検知された横断物体の画像上の位置から、カメラ１２に対する横断物体の相対位置を検知する。

ステップＳ３３８において、検知部３４２は、ステップＳ３３５で算出されたオプティカルフローに基づいて、カメラ１２に対する横断物体の速度ベクトルを検知する。そして、検知部３４２は、横断物体の相対位置および速度ベクトルを表す情報を横断物体情報として通信部２３２に供給する。また、検知部３４２は、現在物体存在領域画像を記憶部２３３に供給して記憶させる。

ステップＳ３３９において、通信部２３２は、図１０のステップＳ２３７の処理と同様に、検知部３４２から供給される横断物体情報をレーダ２１１の通信部２２２に送信する。ステップＳ３４０において、検知部３４２は、ステップＳ３３７において検知された横断物体の相対位置から、カメラ１２から横断物体までの距離を求め、その距離を表す距離情報を抽出部３４１に出力する。

なお、複数の方向情報がレーダ２１１から送信されてくる場合、検知部３４２は、距離情報を方向情報に対応付けて抽出部３４１に出力する。そして、抽出部３４１は、ステップＳ３３４において、レーダ２１１から送信されてくる方向情報と、その方向情報が表す方向近傍を表す方向情報に対応付けて記憶されている距離情報とに基づいて、物体存在領域画像を抽出する。

上述した処理部１３（２１２，３１１）の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した処理部１３（２１２，３１１）の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、カメラ１２、レーダ１１（１１１，２１１）などよりなるレーダ４０６、操作ボタンなどよりなる入力部４０７、ディスプレイ、スピーカなどよりなる出力部４０８、ハードディスクや不揮発性のメモリなどよりなる記憶部４０９、ネットワークインタフェースなどよりなる通信部４１０、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、或いは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１２を駆動するドライブ４１１が接続されている。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４０９に記憶されているプログラムを、入出力インターフェース４０５およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した処理部１３（２１２，３１１）の一連の処理が行われる。

コンピュータのCPU４０１が実行するプログラムは、例えば、リムーバブルメディア４１２に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア４１２をドライブ４１１に装着することにより、入出力インターフェース４０５を介して、記憶部４０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４１０で受信し、記憶部４０９にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０９に、予めインストールしておくことができる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した横断物体検知装置の第１の実施の形態の構成例を示すブロック図である。 横断物体検知装置を上から見た図である。 カメラにより撮像された画像の例を示す図である。 図１のレーダによる方向検知処理について説明するフローチャートである。 図１の処理部による横断物体検知処理について説明するフローチャートである。 本発明を適用した横断物体検知装置の第２の実施の形態の構成例を示すブロック図である。 図６のレーダによる方向検知処理について説明するフローチャートである。 本発明を適用した横断物体検知装置の第３の実施の形態の構成例を示すブロック図である。 図８のレーダによる方向検知処理について説明するフローチャートである。 図８の処理部による横断物体検知処理について説明するフローチャートである。 本発明を適用した横断物体検知装置の第４の実施の形態の構成例を示すブロック図である。 図１１の検知部による横断物体の検知について説明する図である。 図１１の処理部による横断物体検知処理について説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

符号の説明

１０ 横断物体検知装置
１２ カメラ
２１ 送信部
２２ 受信部
２３ 検知部
４２ 抽出部
４３ 検知部
１２３ 判定部

Claims (8)

1. 車両の進行路を横断する横断物体を検知する横断物体検知装置において、
   電磁波のビームを前記横断物体の横断方向にスキャンする照射手段と、
   前記ビームの反射波を受信する受信手段と、
   前記受信手段により受信された反射波により、前記照射手段に対する前記ビームが照射された物体の方向を検知する方向検知手段と、
   前記照射手段のスキャン範囲を含む範囲を撮像する撮像手段と、
   前記物体の方向だけに基づいて、前記撮像手段により撮像された画像から、前記物体の方向の画像を物体存在領域画像として抽出する抽出手段と、
   前記物体存在領域画像に基づいて、前記物体のうちの前記横断物体を検知する横断物体検知手段と
   を備える横断物体検知装置。
2. 前記車両の進行方向に前記物体が移動しているかを判定する判定手段
   をさらに備え、
   前記方向検知手段は、さらに、前記反射波により、前記照射手段に対する前記物体の相対速度の大きさと方向を表す速度ベクトルを検知し、
   前記判定手段は、前記方向検知手段により検知された物体の速度ベクトルに基づいて、その物体が前記進行方向に移動しているかを判定し、
   前記抽出手段は、前記物体が前記進行方向に移動していないと判定された場合、その物体の方向だけに基づいて、前記物体存在領域画像を抽出する
   請求項１に記載の横断物体検知装置。
3. 前記横断物体検知手段はまた、前記物体存在領域画像と、それより前に撮像された画像の物体存在領域画像とに基づいて、前記撮像手段に対する前記横断物体の相対位置および相対速度の大きさと方向を表す速度ベクトルを検知し、
   前記照射手段は、前記横断物体の相対位置および速度ベクトルに基づいて、その横断物体の前記照射手段に対する現在の方向を予測し、その方向に照射する前記ビームを制御する
   請求項１に記載の横断物体検知装置。
4. 前記横断物体検知手段は、前記物体存在領域画像と、それより前に撮像された画像の物体存在領域画像とに基づいて、前記物体存在領域画像のオプティカルフローを算出し、そのオプティカルフローに基づいて前記横断物体を検知する
   請求項１に記載の横断物体検知装置。
5. 前記横断物体検知手段はまた、前記オプティカルフローに基づいて、前記撮像手段に対する前記横断物体の相対位置および相対速度の大きさと方向を表す速度ベクトルを検知し、
   前記照射手段は、前記横断物体の相対位置および速度ベクトルに基づいて、その横断物体の前記照射手段に対する現在の方向を予測し、その方向に照射する前記ビームを制御する
   請求項４に記載の横断物体検知装置。
6. 前記横断物体検知手段はまた、前記物体存在領域画像に基づいて、前記撮像手段から前記横断物体までの距離を検知し、
   前記抽出手段は、前記方向検知手段により検知された物体の方向と、前記横断物体検知手段により検知された距離とに基づいて、前記物体存在領域画像を抽出する
   請求項１に記載の横断物体検知装置。
7. 車両の進行路を横断する横断物体を検知する横断物体検知装置の横断物体検知方法において、
   電磁波のビームを前記横断物体の横断方向にスキャンする照射ステップと、
   前記ビームの反射波を受信する受信ステップと、
   受信された反射波により、前記ビームをスキャンする照射手段に対する前記ビームが照射された物体の方向を検知する方向検知ステップと、
   前記照射手段のスキャン範囲を含む範囲を撮像する撮像ステップと、
   前記物体の方向だけに基づいて、撮像された画像から、前記物体の方向の画像を物体存在領域画像として抽出する抽出ステップと、
   前記物体存在領域画像に基づいて、前記物体のうちの前記横断物体を検知する横断物体検知ステップと
   を含む横断物体検知方法。
8. 車両の進行路を横断する横断物体を検知する処理を、コンピュータに行わせるプログラムにおいて、
   電磁波のビームを前記横断物体の横断方向にスキャンする照射手段と、前記ビームの反射波を受信する受信手段と、前記受信手段により受信された反射波により、前記照射手段に対する前記ビームが照射された物体の方向を検知する方向検知手段とを備えるビーム照射装置により検知された前記物体の方向だけに基づいて、前記照射手段のスキャン範囲を含む範囲を撮像する撮像装置により撮像された画像から、前記物体の方向の画像を物体存在領域画像として抽出する抽出ステップと、
   前記物体存在領域画像に基づいて、前記物体のうちの前記横断物体を検知する横断物体検知ステップと
   を含む処理をコンピュータに行わせるプログラム。

Images