JP4906437B2 - 周辺監視システム - Google Patents

Description

本発明は、カメラで撮影した画像に基づいて自車周辺に存在する他車を検出する技術に関するものである。

カメラで撮影した画像に基づいて自動車を検出する技術としては、夜間にカメラで撮影した画像に写り込んだ自動車のヘッドライド光に基づいて当該自動車を検出する技術が知られている。
特開平5-189694号公報

さて、カメラで撮影した画像に基づいて他車を検出する場合、カメラに近い位置に他車が存在すると、その他車によってカメラの死角となる領域が生じ、当該死角となる領域から自車に接近してくる自動車や二輪車などを検出することができなくなる。
そこで、本発明は、カメラで撮影した画像に基づいて自車周辺の他車を検出する周辺監視システムにおいて、他車によってカメラの死角となる領域に存在する自動車や自動二輪車を検出することを課題とする。

前記課題達成のために、本発明は、自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムを、自車後方を撮影するカメラと、前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを備えて構成したものである。

このような周辺監視システムによれば、カメラの死角となる領域に存在する他車であっても、当該他車から発せされた照明光の道路や道路付属構造物で反射した反射光をカメラによって撮影できる場合には、その存在を検出することができるようになる。

ここで、このような周辺監視システムにおいて、前記隠蔽領域内他車推定手段は、前記反射光検出手段が、前記反射光を検出した場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するように構成してもよい。

このようにすることにより、カメラで撮影できている車両の照明光の反射光に基づいて、カメラの死角となる領域内の他車の存在を誤って推定してしまうことを排除することができる。
また、このような周辺監視システムは、前記隠蔽領域内他車推定手段において、前記反射光検出手段が、自車に対して相対的に接近している反射光を検出したときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するようにしてもよい。
このようにすることにより、カメラの死角となる領域内の他車のうちでも自車にとって検出することがより重要となる、自車に接近してくる他車のみを検出することができるようになる。
また、このような周辺監視システムは、前記他車推定手段において、自車の走行している車線と、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向との関係に基づいて、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定したり、自車の走行している道路の渋滞の発生状況に応じて、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定するようにしてもよい。

このようにすることにより、自車の運転者が見落としやすい、後方よりすり抜けて接近してくる二輪車の存在を、運転者に代わって推定、検出し、ユーザに対して提示したりすることができるようになる。
なお、これらの周辺監視システムには、前記他車推定手段の推定に基づいて、前記カメラに対して隠蔽される領域内に存在する他車についての注意喚起もしくは警告をユーザに対して提示する提示手段を備えることが好ましい。

以上のように、本発明によれば、カメラで撮影した画像に基づいて自車周辺の他車を検出する周辺監視システムにおいて、他車によってカメラの死角となる領域に存在する自動車や二輪車を検出することができる。

以下、本発明の実施形態を説明する。
図１ａに、本第実施形態に係る周辺監視システムの構成を示す。
本周辺監視システムは、自動車に搭載されるシステムであり、図示するように、周辺監視システムは、カメラ１、他車認識部２、死角領域監視部３、周辺状況提示部４、表示装置５、音声出力装置５、状況検知部７とを有している。
ここで、本周辺監視システムが搭載された自動車を自車１００として、図１ｂに示すように、カメラ１は自車１００の後部に配置され自車１００後方を撮影する。
また、他車認識部２は、カメラ１が撮影した画像に対して、所定の画像認識処理を施して、画像中に写り込んでいる他車を認識すると共に、認識した他車の画像中の位置より、当該他車の自車１００に対する相対位置を算定し、認識した他車の種別と算定した他車の相対位置とをカメラ測定データとして出力する処理を繰り返し行う。

ここで、状況検知部７は、カメラ１が撮影した画像の全体的な輝度や、その他の光センサや、自車１００のヘッドライトの点灯状態などより現在が昼間であるかどうかを判定する機能を備えており、他車認識部２は、状況検知部７が現在が昼間であると判定しているときには、たとえば、カメラ１が撮影した画像に写り込んだ他車の輪郭に基づいて他車を認識し、状況検知部７が現在が夜間であると判定しているときには、たとえば、カメラ１が撮影した画像に高輝度で写り込むヘッドライドより他車を認識する。

そして、死角領域監視部３は、状況検知部７が現在は夜間であると判定している期間中、図２に示す死角領域監視処理を行う。
図示するように、この処理では、まず、自車１００が停止中であるかどうか（ステップ２０２）と、後方隠蔽物体が存在するかどうか（ステップ２０４）を判定する。ここで、ステップ２０２の自車１００が停止中であるかどうかの判定のために、状況検知部７において自車１００の車速に基づいて自車１００の停止中の有無を検知し、死角領域監視処理に通知するようにする。また、ステップ２０４では、他車認識部２が出力するカメラ測定データが、自車１００後方に所定距離内に接近した四輪車が存在していることを表しているときに、当該四輪車を後方隠蔽物体として、後方隠蔽物体が存在すると判定する。

そして、自車１００が停止中でないか（ステップ２０２）、後方隠蔽物体が存在していない場合には（ステップ２０４）、左側死角内接近物体非存在と右側死角内接近物体非存在を設定し（ステップ２１４）、ステップ２０２からの処理に戻る。
一方、自車１００が停止中であって（ステップ２０２）、かつ、後方隠蔽物体が存在している場合には、カメラ１が撮影した画像中の、死角の左側監視領域に自車１００に接近してくる光が存在するかどうかを調べる（ステップ２０６）。ここで、死角の左側監視領域は、次のように設定する。

すなわち、図３に示すように、自車１００の後方に、後方隠蔽物体となる四輪車３０１が存在しており、この四輪車３０１によってカメラ１の死角となる領域３０２が発生した場合、前後方向について、四輪車３０１の前端と自車後端より後方に所定距離Ｌ１進んだ位置との間の範囲であって、左右方向について、自車左右方向中央を中央とする所定距離内Ｌ２の範囲を持つ領域から、死角となる領域３０２を除いた領域３１０、３２０のうち、自車左右方向中央より左側の領域３１０内にある路面やガードレールがカメラ１が撮影した画像中に写り込むことになる領域を左側監視領域とする。なお、領域３１０、３２０のうち、自車左右方向中央より右側の領域３２０内にある路面やガードレールがカメラ１が撮影した画像中に写り込むことになる領域が、後述する右側監視領域となる。

すなわち、カメラ１によって、図４ａのように四輪車３０１が写りこんだ画像が撮影された場合には、画像中の四輪車３０１の自車１００の進行方向に見て左側に左側監視領域４１０が設定されることになる。また、画像中の四輪車３０１の自車１００の進行方向に見て右側に、後述する右側監視領域４２０が設定されることになる
また、左側監視領域に自車１００に接近してくる光が存在するかどうかの判定は、たとえば、最近の所定期間内にカメラ１が撮影した複数の画像の全てにおいて、左側監視領域内に、周囲よりも輝度が高い、およそ路面やガードレールにおける車両のヘッドライトの照明光の反射光の輝度範囲内の輝度を有する領域が存在し、かつ、当該領域の上下方向の位置が順次下方向に移動するように連続的に変化しているときに、左側監視領域に自車１００に接近してくる光が存在すると判定することにより行う。

したがって、たとえば、図３ａに示すように四輪車３０１の左側の死角から自動二輪車３３０が自車１００に接近してきている場合には、図４ｂに示すように当該自動二輪車３３０のヘッドライトから照射された光の路面やガードレールなどの道路付属の構造物による反射光が、左側監視領域４１０内の自車１００に接近してくる光として検出されることになる。

なお、後に行う右側監視領域に自車１００に接近してくる光が存在するかどうかの判定も、同様に、たとえば、最近の所定期間内にカメラ１が撮影した複数の画像の全てにおいて、右側監視領域内に周囲よりも輝度が高い領域が存在し、かつ、当該領域の上下方向の位置が順次下方向に移動するように連続的に変化しているときに、右側監視領域に自車１００に接近してくる光が存在すると判定することにより行う。

さて、図２に戻り、死角の左側監視領域に自車１００に接近してくる光が存在していないと判定された場合には（ステップ２０６）、左側死角内接近物体非存在を設定し（ステップ２０８）、ステップ２１０に進む。
一方、死角の左側監視領域に自車１００に接近してくる光が存在していると判定された場合には、当該接近光を照射している他車が、他車認識部２によって認識されているかどうかを調べ（ステップ２１６）、認識されている場合には、左側死角内接近物体非存在を設定し（ステップ２０８）、ステップ２１０に進む。一方、接近光を照射している他車が、他車認識部２によって認識されていない場合には、左側死角内接近物体存在を設定した上で（ステップ２１８）、ステップ２１０に進む。

ここで、ステップ２１６では、カメラ１で撮影した画像中のステップ２０６で検出した自車１００に接近してくる光の領域に対応する自車１００後方の位置に、他車認識部２が認識している他車のヘッドライトの位置がある場合や、カメラ１で撮影した画像中のステップ２０６で検出した自車１００に接近してくる光の領域に対応する自車１００後方の位置に対して自車１００から見て略後方となる位置に、他車認識部２が認識している他車のヘッドライトの位置がある場合に、当該接近光を照射している他車が、他車認識部２によって認識されているものと判定する。なお、この判定のために、他車認識部２は、他車認識において検出したヘッドライトの位置を死角領域監視部３に通知するようにする。

この処理の結果、図３ａに示すように、四輪車３０１の左側の死角から接近してくる自動二輪車３３０のヘッドライトから照射された光のみが、図４ｂに示すようにカメラ１によって撮影された場合には、左側死角内接近物体存在が設定されるが、図３ｂに示すように、自動二輪車３３０が死角から脱して、図４ｃに示すようにカメラ１によって撮影されるようになったならば、この自動二輪車３３０は、他車認識部２によって認識され、左側死角内接近物体非存在が設定されることになる。

さて、図２に戻り、ステップ２１０に進んだならば、前述した死角の右側監視領域について左側監視領域と同様の処理を行う。
すなわち、死角の右側監視領域に自車１００に接近してくる光が存在するかどうかを調べ（ステップ２１０）、死角の右側監視領域に自車１００に接近してくる光が存在していないと判定された場合には（ステップ２１０）、右側死角内接近物体非存在を設定し（ステップ２２１２）、ステップ２０２に戻る。

一方、死角の右側監視領域に自車１００に接近してくる光が存在していると判定された場合には、当該接近光を照射している他車が、他車認識部２によって認識されているかどうかを調べ（ステップ２２０）、認識されている場合には、右側死角内接近物体非存在を設定し（ステップ２１２）、ステップ２０２に戻り、接近光を照射している他車が、他車認識部２によって認識されていない場合には、右側死角内接近物体存在を設定した上で（ステップ２２２）、ステップ２０２に戻る。

以上、死角領域監視部３が行う死角領域監視処理について説明した。
なお、このような死角領域監視処理は、ステップ２０２を排して、自車１００が停車中であるか否かに関わらずに、ステップ２０４以降の処理を行うものとして構成することもできる。
さて、次に周辺状況提示部４は、他車認識部２が出力するカメラ測定データが示す他車の現在位置や位置の履歴に基づいて、自車１００後方の他車の配置や挙動の状況などを表示装置５に表示したり、自車１００後方の他車の配置や挙動と自車１００の挙動との関係などより危険の発生を予知して警告を表す音声を音声出力装置５から出力する処理などを行う。

また、周辺状況提示部４は、状況検知部７が現在は夜間であると判定している期間中には、左側死角内物体警告処理と、右側死角内物体警告処理とを行う。
図５に、この左側死角内物体警告処理の手順を示す。
図示するように、この左側死角内物体警告処理では、左側死角内接近物体存在が設定されているかどうかを調べ（ステップ５０２）、設定されている場合には以下の処理を行う。
すなわち、自車１００が片側一車線の道路区間を走行中であるかどうか（ステップ５０４）と、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるかどうか（ステップ５０６）と、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるかどうか（ステップ５０８）とを調べる。そして、いずれでもなければ、自車１００が左方向に移動しようとしているかどうかを判定し（ステップ５１０）、左方向に移動しようとしていれば表示装置５や音声出力装置５より左後方より接近してくる他車が存在する可能性のある旨の注意を出力し（ステップ５１２）、ステップ５０２からの処理に戻り、左方向に移動しようとしていなければ、そのままステップ５０２からの処理に戻る。

一方、自車１００が片側一車線の道路区間を走行中であるか（ステップ５０４）、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるか（ステップ５０６）、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるか（ステップ５０８）のいずれかであれば、自動二輪車が左後方より自車１００後方の四輪車をすり抜けて来ようとしているものと推定する。そして、自車１００が左方向に移動しようとしているかどうか（ステップ５１４）、自車１００が左折または左に車線変更しようとしているかどうか（ステップ５１６）、自車１００の搭乗者がドアを開けようとしているかどうか（ステップ５１８）を調べ、いずれかであれば、左方を後方よりすり抜けようとする自動二輪車が存在する旨の警告を表示装置５や音声出力装置５より出力しステップ５０２からの処理に戻り、いずれでもなければそのままステップ５０２からの処理に戻る。

ここで、自車１００が片側一車線の道路区間を走行中であるかどうか（ステップ５０４）や、自車１００が片側複数車線の道路区間上の最も左の車線を走行中であるかどうか（ステップ５０６）や、自車１００が走行中の車線と自車１００が走行中の車線の左側の車線が渋滞中であるかどうか（ステップ５０８）は、たとえば、状況検知部７においてカメラ１が撮影した画像に基づいて判定し周辺状況提示部４に通知する。ただし、状況検知部７は、別途設けた、地図データに基づいて自律航法もしくは衛星航法により現在位置を算出するカーナビゲーション装置や、交通情報を受信するＶＩＣＳ受信機を利用し、カーナビゲーション装置が算出した現在位置や、地図データが表す現在自車が走行中の道路区間の車線数や、ＶＩＣＳ受信機が受信した現在位置周辺の渋滞状況を参照することにより、これらの判定を行うようにしてもよい。

また、自車１００が左方向に移動しようとしているかどうか（ステップ５１０、５１４）は、たとえば、状況検知部７において、自車１００のドライバのハンドル操作状態に基づいて検出する。また、自車１００が左折または左に車線変更しようとしているかどうか（ステップ５１６）は、たとえば、状況検知部７において、自車１００の方向指示器の操作状態に基づいて検出する。また、自車１００の搭乗者がドアを開けようとしているかどうか（ステップ５１８）は、たとえば、状況検知部７において、車内側ドアハンドルに設けたタッチセンサなどの、搭乗者の手のドアハンドルへの接近を検出するセンサの出力に基づいて検出する。

以上、左側死角内物体警告処理について説明した。
ここで、周辺状況提示部４がこのような左側死角内物体警告処理と共に行う右側死角内物体警告処理は、左側死角内物体警告処理における各ステップの左右を置き換えた処理となる。また、右側死角内物体警告処理のステップ５０２では、右側死角内接近物体存在が設定されているかどうかを調べることになる。

以上、本発明の実施形態について説明したように、本実施形態によれば、カメラ１の死角となる領域に存在する他車であっても、当該他車から発せされた照明光の道路もしくは道路付属構造物で反射した反射光をカメラ１によって撮影できる場合には、当該反射光に基づいて他車の存在を検出することができるようになる。また、このように推定したカメラ１の死角となる領域に存在する他車についての運転者の注意を喚起したり、このように推定したカメラ１の死角となる領域に存在する他車に対する安全確保のための警告を運転者に対して行うことができるようになる。

本発明の実施形態に係る周辺監視システムの構成と配置を示すブロック図である。 本発明の実施形態に係る死角領域監視処理を示すフローチャートである。 本発明の実施形態に係る死角領域監視処理の処理例を示す図である。 本発明の実施形態に係る死角領域監視処理の処理例を示す図である。 本発明の実施形態に係る左側死角内物体警告処理を示すフローチャートである。

符号の説明

１…カメラ、２…他車認識部、３…死角領域監視部、４…周辺状況提示部、５…表示装置、５…音声出力装置、７…状況検知部、１００…自車。

Claims (6)

1. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車後方を撮影するカメラと、
   前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、
   前記反射光検出手段が、前記カメラに対して隠蔽される領域の周辺において反射した反射光を検出した場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有することを特徴とする周辺監視システム。
2. 請求項１記載の周辺監視システムであって、
   前記隠蔽領域内他車推定手段は、前記反射光検出手段が、自車に対して相対的に接近している反射光を検出したときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定することを特徴とする周辺監視システム。
3. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車後方を撮影するカメラと、
   前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、
   前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有し、
   前記隠蔽領域内他車推定手段は、自車の走行している車線が当該車線と走行方向が同方向の車線のうちの最も左側の車線であり、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が左方向である場合と、自車の走行している車線が当該車線と走行方向が同方向の車線のうちの最も右側の車線であり、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が右方向である場合とのうちの少なくとも一方の場合に、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定することを特徴とする周辺監視システム。
4. 自動車に搭載され、当該自動車である自車周辺の他車を検出する周辺監視システムであって、
   自車後方を撮影するカメラと、
   前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出する反射光検出手段と、
   前記反射光検出手段が、前記反射光を検出した場合に、前記カメラに対して隠蔽される領域内に他車が存在すると推定する隠蔽領域内他車推定手段とを有し、
   前記隠蔽領域内他車推定手段は、自車の走行している車線及び当該車線よりも左側の車線に渋滞が発生しており、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が左方向である場合と、自車の走行している車線及び当該車線よりも右側の車線に渋滞が発生しており、前記反射光検出手段が検出した前記自車に対して相対的に接近している反射光の自車に対する左右方向が右方向である場合とのうちの少なくとも一方の場合に、前記カメラに対して隠蔽される領域内に二輪車である他車が存在すると推定することを特徴とする周辺監視システム。
5. 請求項１、２、３または４記載の周辺監視システムであって、
   前記隠蔽領域内他車推定手段の推定に基づいて、前記カメラに対して隠蔽される領域内に存在する他車についての注意喚起もしくは警告をユーザに対して提示する提示手段を有することを特徴とする周辺監視システム。
6. 自動車に搭載された周辺監視システムにおいて、当該自動車である自車周辺の他車を検出する他車検出方法であって、
   前記周辺監視システムが、カメラで自車後方を撮影するステップと、
   前記周辺監視システムが、前記カメラによって撮影される範囲内にある物体によって当該カメラに対して隠蔽される領域の周辺において反射した、自車に対して相対的に移動している反射光を、前記カメラが撮影した画像に基づいて検出するステップと、
   前記周辺監視システムが、前記カメラに対して隠蔽される領域の周辺において反射した反射光が検出された場合であって、当該反射光の光源と推定される車両が前記カメラによって撮影されていないときに、前記カメラに対して隠蔽される領域内に他車が存在すると推定するステップとを有することを特徴とする他車検出方法。