JP2004251886A - 周囲物体検出装置 - Google Patents

Abstract

【課題】撮影画像における周囲物体の画像情報が変化しても、これを検出できるようにする周囲物体検出装置を提供すること。
【解決手段】車両１００の周囲の実空間に固定された仮想領域３１〜３８を設定し、車両１００と設定した仮想領域３１〜３８との相対的な位置関係を計算し、計算された位置関係に基づいて、車両１００の周囲を撮影した画像上に仮想領域３１〜３８に対応した領域を設定する。この設定した領域の平均輝度値が所定の時間内に変化する量によって仮想領域３１〜３８の特徴量を算出し、この特徴量に基づいて、車両１００の周囲の物体を検出する。
【選択図】図３

Description

本発明は、車両の周囲の物体を検出する周囲物体検出装置に関する。

車両の側方の障害物を検出して運転者に報知する装置が知られている。この装置では、車両の側方に視軸を向けたビデオカメラで自車両側方の画像を撮影し、撮影した画像の各フレームから特徴点を抽出して、その特徴点がフレーム間に画像中を移動する移動量から、自車両側方の画像におけるオプティカルフローを算出する。さらに、自車両の速度から、自車両が移動することによる画像の移動量に相当する移動フロー長を求める。このようにして求めたオプティカルフローと移動フロー長とを比較し、両者が異なる場合に自車両の側方に車両が存在すると判断して、警報を発する（特許文献１）。

特開平７−２９６２９７号公報

この装置では、輝度分布などの画像情報に基づいて、画像のフレームごとに抽出する特徴点から同一の特徴点を判別する必要がある。しかし、撮影される画像において、自車両の側方に存在する車両の輝度分布などの画像情報は、その車両と自車両との相対位置の変化による投影面の違いや、周囲の構造物による影の変化などにより、一定ではない。そのため、同一の特徴点であることを画像のフレーム間で判別できず、オプティカルフローが算出できなくなり、その結果、側方の車両を検出できないことがある。

本発明による周囲物体検出装置は、車両の周囲を撮影する撮影手段と、車両の周囲の実空間上に実空間に固定された複数の仮想領域を設定し、その仮想領域を撮影手段により撮影した画像の情報に基づいて、車両の周囲の物体を検出する検出手段とを備えるものである。
また本発明による周囲物体検出装置は、車両に搭載されてその車両の周囲の物体を検出する周囲物体検出装置において適用され、車両の周囲を撮影する撮影手段と、車両の運動を検出する車両運動検出手段と、車両運動検出手段により検出された車両の運動に基づいて車両の移動量を計算する移動量算出手段と、車両の周囲の実空間上に実空間に固定された複数の仮想領域を設定し、移動量に応じて新たな仮想領域を設定する仮想領域設定手段と、移動量算出手段により計算された車両の移動量に基づいて車両と仮想領域との相対的な位置関係を計算する相対位置算出手段と、相対位置算出手段により計算された位置関係に基づいて、仮想領域を撮影手段により撮影された画像に投影したときの画像における位置と形状を演算する投影処理手段と、投影処理手段により演算された位置と形状に基づいて、画像上に仮想領域に対応する領域を設定する画像領域設定手段と、画像領域設定手段により設定された領域内の画像情報に基づいて、仮想領域の特徴を表す特徴量を算出する特徴量算出手段と、特徴量算出手段により算出された特徴量に基づいて、仮想領域に存在する車両の周囲物体を検出する周囲物体検出手段とを備えるものである。

本発明によれば、車両の周囲を撮影し、その周囲の実空間上に実空間に固定された複数の仮想領域を設定し、その仮想領域を撮影した画像の情報に基づいて、車両の周囲の物体を検出するようにした。これにより、実空間に固定された仮想領域による画像情報に基づいて車両の周囲物体を検出するようにしたので、自車両の周囲の物体において、投影面の違いや周囲の影などによってその画像情報が変化しても、その物体を検出することができる。
また本発明によれば、自車両の周囲の実空間に固定された仮想領域を設定し、自車両と仮想領域との相対的な位置関係を計算し、計算された位置関係に基づいて自車両の周囲を撮影した画像上に仮想領域に対応した領域を設定し、画像上の領域の画像情報に基づいて仮想領域の特徴量を算出し、この特徴量に基づいて自車両の周囲の物体を検出するようにした。これにより、実空間に固定された仮想領域による画像情報に基づいて自車両の周囲物体を検出するようにしたので、自車両の周囲の物体において、投影面の違いや周囲の影などによってその画像情報が変化しても、その物体を検出することができる。

――第１の実施の形態――
図１に、本発明による周囲物体検出装置の第１の実施の形態を示す。この周囲物体検出装置１は、車両に搭載されて車両周囲の画像を撮影し、撮影された画像情報の時間的な変化により、周囲の車両などの物体を検出する。周囲物体検出装置１は、カメラ７、車両センサ８、メモリ９、ＣＰＵ１０、および警報装置１１を有する。

カメラ７は、車両周囲の画像を連続的に撮影するカメラである。図２に示すように、周囲物体検出装置１を搭載した車両１００の後側方に、カメラ７の視軸は向けられている。これにより、隣接する車線の後側方を走行中の他車両など、運転者から確認しにくい位置にある移動物体についても、カメラ７によって撮影することができる。カメラ７には、たとえば可視光や赤外光に撮影感度を持つＣＣＤカメラが用いられるが、その他の方式のものでもよい。カメラ７によって連続的に撮影された画像は、所定時間ごとに区切られた画像フレームに変換された後、メモリ９に記憶される。

車両センサ８は、車両の左右それぞれの車輪の回転数を検出し、その回転数に応じた車輪速パルスをＣＰＵ１０に対して出力する。この車輪速パルスは、車輪が１回転の所定数分の１だけ回転したときに出力される。たとえば、１／８８回転するごとに車輪速パルスが１つ出力される。出力された車輪速パルスの数はＣＰＵ１０においてカウントされ、メモリ９に記憶される。この左右の車輪速パルス数に基づいて、ＣＰＵ１０はデッドレコニングにより所定時間ごとの車両の移動量を計算する。このとき、左右の車輪速パルス数の差によって車軸の傾き量が計算され、それによって車両の進行方向の変化量が計算される。

メモリ９は、上述したとおり、カメラ７による画像情報、および車両センサ８により出力された車輪速パルスのカウント数の情報を記憶するとともに、ＣＰＵ１０により実行される処理結果として、車両の移動量や、後述する仮想領域マップを記憶する。これら各種の情報はアドレスごとに管理されており、対応するアドレスを指定することで、任意の種類の情報をメモリ９より読み出したり、メモリ９に書き込んだりできる。

ＣＰＵ１０は、メモリ９に記憶された情報に基づいて、各種の演算や処理を実行する。たとえば、車両センサ８より出力される車輪速パルスのカウント数に基づいて算出されたデッドレコニング情報による車両移動量と、カメラ７により撮影された画像情報とにより、車両の周囲に存在する移動物体を検出する。このとき、移動物体が衝突する危険性がある場合には警報装置１１を作動させ、たとえば音声や警報音などによって運転者へ報知する。

車両周囲の移動物体を検出する方法について、図３および４を参照して説明する。時刻ｔ１において道路を通行中の図３（ａ）に示す車両１００には、周囲物体検出装置１が搭載されている。周囲物体検出装置１のカメラ７において、図４（ａ）の符号４１に示す画像が撮影されたとする。このとき、画像４１中の車両１００が走行している車線の隣の車線上に、符号２１〜２６に示す領域が設定される。

これらの領域２１〜２６は、実空間に固定された領域を画像４１上に表示したものとして設定される。すなわち、実空間上に図３（ａ）に示す領域３１〜３６が存在すると仮想して、カメラ７で車両１００の後側方を撮影したとき、これらの仮想領域３１〜３６にそれぞれ対応する画像４１上の領域が、領域２１〜２６に相当する。

次に、時刻ｔ２において車両１００が図３（ｂ）の位置に移動し、このときに図４（ｂ）の符号４２に示す画像が撮影されたとする。図３（ｂ）に示す実空間上の仮想領域３１〜３６は、図３（ａ）の場合よりも車両１００から遠ざかるため、車両１００と仮想領域３１〜３６との相対的な位置関係が変化する。したがって、実空間上の仮想領域３１〜３６に対応して画像４２上に設定される領域２１〜２６の位置や形状は、画像４１のときより変化する。

画像４２上の領域２１〜２６の位置や形状は、車両１００と仮想領域３１〜３６との実空間上における相対的な位置関係により決定される。この相対的な位置関係は、車両センサ８によって検出された左右それぞれの車輪速パルスに基づいてデッドレコニングにより車両１００の移動量が計算され、その移動量によって算出される（相対位置算出という）。算出された相対的な位置関係により、仮想領域３１〜３６を画像４２に投影したときの位置と形状が演算され（投影処理という）、領域２１〜２６の位置や形状が決定される。なお、図３（ｂ）において、仮想領域３１は、破線３０によって示されるカメラ７の視認距離より遠い位置に存在する。そのため、仮想領域３１に対応する領域２１は、図４（ｂ）に示すように画像４２において表示されない。

またこのとき、車両１００が図３（ａ）の位置から（ｂ）の位置に移動したことにより、車両１００と仮想領域３６との間に仮想領域１つ分以上の距離が空いたとする。この距離を埋める仮想領域として、車両１００の付近の実空間上に、新たな仮想領域３７が設定される。その結果、車両１００と仮想領域３７との相対的な位置関係に基づいて、画像４２において、仮想領域３７に対応する領域２７が新たに設定される。

次に、車両１００が時刻ｔ３においてさらに図３（ｃ）の位置に移動し、このときに図４（ｃ）の符号４３に示す画像が撮影されたとする。このとき、図３（ａ）の位置から（ｂ）の位置に移動した場合と同様に、仮想領域３３〜３７、および新たに設定される仮想領域３８に対して、前述の相対位置算出と投影処理が行われ、画像４３における領域２３〜２８の位置と形状が決定される。なお、仮想領域３２はカメラ７の視認距離３０より遠い位置に存在するため、画像４３において領域２２は表示されなくなる。

以上説明したようにして、撮影画像上に領域２３〜２８が設定される。これを１つの領域に注目してみると、図３（ａ）〜（ｃ）の位置に車両１００が順次移動していくにしたがって、図４（ａ）〜（ｃ）の注目領域２４（網掛け部）のように、画像上の位置と形状が変化していく。次に、このように画像上に設定された領域２３〜２８により車両１００の周囲の物体を検出する方法を説明する。

図５に示す実空間上の仮想領域３１〜３８は、図３の仮想領域３１〜３８と同じものである。図５（ａ）〜（ｃ）は、時刻ｔ１〜ｔ３における車両１００と、車両１００の後側方に存在する検出対象とする他車両１０１との位置関係とを示す。時刻ｔ２において、図５（ｂ）に示すように、検知対象車両１０１が仮想領域３４に進入しているとする。

仮想領域３４に対応する画像上の領域、すなわち図４に示す領域２４の、時刻ｔ１〜ｔ３における特徴量の時間変化の様子を図６に示す。この特徴量は、領域２４における画像の平均輝度値が、所定の時間内に変化した量である。領域２４に路面のみ写っている場合には、平均輝度値はあまり変化せず、特徴量は小さい。しかし、領域２４に車両などの立体物も合わせて写っている場合には、車両１００の移動に伴ってカメラ７の視点が変化すると、立体物が写される面（方向）が変化し、画像における輝度情報が変化する。そのため平均輝度値の変化、すなわち特徴量が大きくなる。図６においては、車両１０１が仮想領域３４に進入した時刻ｔ２に、特徴量がしきい値を越えている。このように特徴量がしきい値を越えたときに、車両１０１が検出される。

周囲物体検出装置１は、以上説明したようにして、車両１００の周囲の画像を撮影して、実空間上の仮想領域と、その仮想領域に対応する画像上の領域とを設定し、この画像上の領域の特徴量によって、周囲の車両などの物体を検出する。さらに周囲物体検出装置１は、後述するようにして車両１００と検出した物体との進路の予想を行うことにより、衝突の危険性を判断する。

周囲物体検出装置１により周囲物体を検出するときの処理の流れを示すフローチャートを図７および８に示す。このフローチャートはＣＰＵ１０で実行されるプログラムに基づくものであり、周囲物体検出装置１の動作時には常に実行されている。図７および８の各フローでの処理内容を、図３および４の例を用いて以下に説明する。なお以下の説明では、図３および４における時刻ｔ１を時刻０、時刻ｔ２を時刻ｔ、時刻ｔ３を時刻ｔ＋Δｔにそれぞれ置き換えるものとする。

図７のステップＳ１では、はじめにカメラ７により撮影され、メモリ９に記憶された車両１００の周囲の画像信号、すなわち図３（ａ）に示す車両１００の位置において撮影した画像４１を読み込む。この画像を初期画像とする。

ステップＳ２では、ステップＳ１で読み込んだ初期画像４１に対応する実空間上に初期の仮想領域３１〜３６を設定するとともに、この仮想領域３１〜３６に対応する初期の画像上の領域２１〜２６を設定する。仮想領域３１〜３６は、たとえば自動車専用道路においては、その実空間上の大きさを３ｍ四方とし、車両１００の後側方の走行車線上に、走行車線の中心に沿って４ｍ間隔で配置する。また一般道路においては、二輪車や歩行者のように車両より小さい物体も検知できるように、仮想領域３１〜３６の実空間上の大きさと配置間隔は、自動車専用道路の場合に比べて小さく設定される。なお、以上述べた仮想領域の大きさや配置は一例であり、その他の大きさや配置としてもよい。

さらにステップＳ２では、設定した仮想領域３１〜３６に対して、それぞれを区別するためのＩＤ番号を各仮想領域ごとに割り振るとともに、車両１００と各仮想領域ごとの相対位置を算出する。また、画像上の領域２１〜２６に対して、各領域ごとの初期平均輝度値を算出する。平均輝度値は、領域のＩＤ番号をｎ、時刻をｔとするとＧ（ｎ，ｔ）で表され、ステップＳ２で算出される初期平均輝度値は、Ｇ（ｎ，０）で表される。

ステップＳ３では、ステップＳ２で設定した初期仮想領域３１〜３６について、初期の仮想領域マップＭ_０を作成する。初期仮想領域マップＭ_０を含めた仮想領域マップのデータ構造は図９に示すようになっている。符号９０に示す１つの仮想領域マップには、たとえば時刻０のときの各仮想領域の情報がＩＤ番号ごとに記録されている。たとえば符号９３に示すＩＤ番号ｎの部分には、その仮想領域と車両１００との相対位置、その仮想領域に対応する画像上の領域の平均輝度値および特徴量とともに、後に説明する状態値および車両ラベルの情報が記録されており、他のＩＤ番号の部分についても同様である。たとえば時刻ｔおよびｔ＋Δｔに対応する符号９１および９２に示す仮想領域マップについても、同様の情報が記録されている。仮想領域マップはこのステップＳ３においてはじめに初期仮想領域マップＭ_０が作成され、その後は以降に説明するステップＳ４からステップＳ２３までの処理を１つの処理サイクルとして繰り返すときに、後述するステップＳ６において処理サイクルごとに作成される。

なお、このステップＳ３で作成する初期仮想領域マップＭ_０においては、ステップＳ２で算出した相対位置（初期相対位置）と平均輝度値（初期平均輝度値）のみが記録される。その他の特徴量、状態値および車両ラベルの各情報は、この時点ではまだ求められていないため、初期仮想領域マップＭ_０には記録されない。作成された初期仮想領域マップＭ_０は、メモリ９に記憶される。

ステップＳ４では、時間Δｔだけ処理を待機する。この時間Δｔは、ステップＳ４からステップＳ２７までの１つの処理サイクルを繰り返すときに、ステップＳ４以外の各ステップにおける処理時間と、１回の処理サイクルの時間とに基づいて、あらかじめ設定される。なお以降の説明では分かりやすくするため、ステップＳ４以外の各ステップにおける処理時間を０とし、１回の処理サイクルの時間は時間Δｔに等しいものとする。

ステップＳ５では、カメラ７により撮影され、メモリ９に記憶された車両１００の後側方の画像信号を読み込む。この画像は、前回の処理サイクルにおけるステップＳ５またはステップＳ１で読み込んだ画像から、時間Δｔ経過後に撮影されたものである。ここでは画像４２を読み込むこととし、また画像４２を撮影した時刻をｔとして説明する。

ステップＳ６では、ステップＳ２で設定した初期仮想領域３１〜３６について、時刻ｔにおける仮想領域マップＭ_ｔを作成する。なお、このステップＳ６を２度目以降に実行する場合は、１回前の処理サイクルにおいて設定されていた仮想領域について、仮想領域マップを作成する。この時点では、作成された仮想領域マップＭ_ｔには仮想領域３１〜３６に対応するＩＤ番号のみが設定され、ステップＳ３において説明したＩＤ番号ごとの各情報はまだ記録されない。作成された仮想領域マップＭ_ｔは、メモリ９に記憶される。

ステップＳ７では、時刻ｔにおける車両１００の移動量Ｖｔを求める。移動量Ｖｔは、処理サイクル１回分、すなわち時間Δｔの間に車両１００が実空間を移動した量であり、これは前述したように、車両センサ８より出力された車両１００の車輪速パルスに基づいて、デッドレコニングにより求められる。さらに、求めた移動量Ｖｔがしきい値Ｖｓより大きいか否かを判定し、大きい場合はステップＳ８へ進み、大きくない場合はステップＳ１０へ進む。ここで、しきい値Ｖｓは１つ以上の仮想領域を新たに実空間上に設定できるだけの移動量であり、これはステップＳ２で設定した仮想領域の大きさにより決まる。なお、移動量Ｖｔとしきい値Ｖｓとの比較は、同じ方向へ移動したときの移動量によって行う。

ステップＳ８では、ステップＳ７で求めた移動量Ｖｔに応じて、新たな実空間上の仮想領域３７を設定する。さらに、この仮想領域３７についても、ステップＳ２で設定した仮想領域３１〜３６と同様に、ＩＤ番号を割り振るとともに、車両１００との相対位置を算出する。また、画像４２上に仮想領域３７に対応する領域２７を設定し、その平均輝度値を算出する。なお、ステップＳ８で設定する新たな仮想領域の数は、移動量Ｖｔの中にいくつの仮想領域を配置できるかによって決定される。すなわち、たとえばＶｓ＜Ｖｔ≦２Ｖｓの場合には新たな仮想領域を１つ設定し、２Ｖｓ＜Ｖｔ≦３Ｖｓの場合には新たな仮想領域を２つ設定する。

ステップＳ９では、ステップＳ６で作成した仮想領域マップＭ_ｔに、ステップＳ８で設定した仮想領域３７のＩＤ番号と、同じくステップＳ８で算出した車両１００と仮想領域３７との相対位置、および領域２７の平均輝度値の情報を加え、仮想領域マップＭ_ｔを更新する。

ステップＳ１０では、仮想領域マップＭ_ｔにＩＤ番号が記録されている仮想領域３１〜３７について、ステップＳ７で求めた移動量Ｖｔに基づいて、車両１００との相対位置をそれぞれ算出する。この仮想領域マップＭ_ｔは、ステップＳ６で作成され、ステップＳ９で更新されたものである。算出された相対位置は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１１では、仮想領域マップＭ_ｔに記録されているＩＤ番号を選択することにより、仮想領域３１〜３７のうちいずれか１つを選択する。ここで、同一の処理サイクルにおいてステップＳ１１から以降に説明するステップＳ１７までの処理を繰り返す間、１度このステップＳ１１で選択された仮想領域は、それ以降のステップＳ１１では選択されない。

ステップＳ１２では、ステップＳ１１で選択した仮想領域がカメラ７の観測範囲にあるか否かを判定する。この判定は、仮想領域マップＭ_ｔに記録された車両１００との相対位置により行われ、相対位置が一定値以上となったときに、観測範囲にないと判定する。観測範囲にある場合、すなわち仮想領域３２〜３７のいずれかをステップＳ１１で選択した場合は、ステップＳ１３に進む。観測範囲にない場合、すなわち仮想領域３１をステップＳ１１で選択した場合は、ステップＳ１７に進む。このとき、観測範囲にない仮想領域３１の情報は仮想領域マップＭ_ｔより削除され、次回以降の処理サイクルにおいて作成される仮想領域マップには、その情報は記録されない。

ステップＳ１３では、ステップＳ１２でカメラ７の観測範囲にあると判定した仮想領域に対応する領域２２〜２７のいずれかを、ステップＳ５で取り込んだ画像４２上に設定する。このときの領域２２〜２７の位置および形状は、対応する仮想領域３２〜３７のいずれかに対して、ステップＳ１０で仮想領域マップＭ_ｔに記録された相対位置に基づいて投影処理を行うことにより、求められる。

ステップＳ１４では、ステップＳ１３で設定した画像４２上の領域２２〜２７のいずれかについて、平均輝度値を算出する。算出された平均輝度値は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１５では、ステップＳ１３で設定した画像４２上の領域２２〜２７のいずれかについて、特徴量を算出する。この特徴量は、ステップＳ１４で算出された平均輝度値と、１回前の処理サイクルのステップＳ１４で算出された平均輝度値との差分の絶対値として定義され、次の式（１）によって表される。式（１）において、Ｇ（ｎ，ｔ）は領域のＩＤ番号ｎ、時刻ｔにおける平均輝度値を表し、Ｇ（ｎ，ｔ−Δｔ）はそれより１回前の処理サイクルにおける平均輝度値を表している。なお１回目の処理サイクルにおいては、Ｇ（ｎ，ｔ−Δｔ）に代えて、ステップＳ２で算出された初期平均輝度値Ｇ（ｎ，０）が用いられる。このとき、今回の処理サイクルのステップＳ８において新たに設定された領域、すなわち領域２７については、特徴量は０とする。算出された特徴量は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。
Ｄ（ｎ，ｔ）＝｜Ｇ（ｎ，ｔ）−Ｇ（ｎ，ｔ−Δｔ）｜ （１）

ステップＳ１６では、ステップＳ１５で算出した特徴量に基づき、ステップＳ１２でカメラ７の観測範囲にあると判定した仮想領域３２〜３７のいずれかについて、状態値を算出する。この状態値は、特徴量がしきい値より大きいか否かによって値が決定されるものであり、特徴量がしきい値より大きい場合は１、しきい値以下である場合は０となる。このように仮想領域の状態値が１になることにより、車両１００の周囲物体が検出される。算出された状態値は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１７では、仮想領域マップＭ_ｔにＩＤ番号が記録されている仮想領域３１〜３７のすべてを、ステップＳ１１で選択したか否かを判定する。すべてを選択した場合は図８のステップＳ１８へ進み、まだ選択していない仮想領域がある場合はステップＳ１１へ戻る。

図８のステップＳ１８では、ステップＳ１６で仮想領域マップＭ_ｔに記録された仮想領域３２〜３７の状態値を判別し、状態値が１である仮想領域があるか否かを判定する。状態値が１である仮想領域が少なくとも１つ以上ある場合、ステップＳ１９へ進む。仮想領域３２〜３７の状態値がすべて０である場合、図７のステップＳ４へ戻る。このとき、ステップＳ１９以降の処理は行わない。

ステップＳ１９では、状態値が１である仮想領域について、実空間上で隣接する仮想領域同士を一つの仮想領域群とするクラスタリング処理を行う。たとえば、仮想領域３２〜３７のうち、仮想領域３２と３３、および仮想領域３６と３７の状態値が１であった場合、仮想領域３２と３３を一つの仮想領域群Ａ_Ｇ、仮想領域３６と３７を仮想領域群Ａ_Ｇとは異なる一つの仮想領域群Ｂ_Ｇとする。なお、隣接する状態値が１の仮想領域がない仮想領域については、このクラスタリング処理を行わない。

ステップＳ２０では、状態値が１である仮想領域３２と３３、および仮想領域３６と３７について、車両ラベルを付加する。この車両ラベルは、１回前の処理サイクル、すなわち時刻ｔ−Δｔにおける仮想領域マップＭ_ｔ−Δｔにおいてその仮想領域の状態値が１であった場合は、仮想領域マップＭ_ｔ−Δｔに記録された１回前の処理サイクルのものと同じ車両ラベルとする。さらにこのとき、同一の仮想領域群で前方（車両１００により近い方）に隣接する仮想領域についても、同じ車両ラベルを付加する。一方、仮想領域マップＭ_ｔ−Δｔにおいてその仮想領域の状態値が０であった場合には、新規の車両ラベルを付加する。たとえば、１回前の処理サイクルにおいて仮想領域３２の状態値が１であり、その車両ラベルがＡ_Ｌであった場合、仮想領域３２、および同一の仮想領域群Ａ_Ｇで前方に隣接する仮想領域３３に、車両ラベルＡ_Ｌを付加する。一方、仮想領域３６および３７には新規の車両ラベルＢ_Ｌを付加する。

なお以上説明したステップＳ２０の処理においては、仮想領域を設定する実空間は車両１００と同一方向の走行車線を想定しており、その仮想領域により検出される車両の進行方向は車両１００と同一方向である。また、１回の処理サイクルの時間Δｔは側方レーンを走行中の車両の移動速度に比べて充分短い時間を想定しており、時間Δｔの間にその車両が移動する距離は仮想領域１つ分以下である。たとえば、その車両の移動速度を時速１２０ｋｍとし、時間Δｔを一般的なカメラのフレームレート時間３３ｍｓとすると、その間にその車両が移動する距離は１．１ｍとなるが、このとき設定される仮想領域はこの距離１．１ｍよりも大きい。したがって前述のように、同一の仮想領域群で前方に隣接する仮想領域について同じ車両ラベルを付加することで、同一の車両に対して前回の処理サイクルにおいて付加されたものと同じ車両ラベルを付加することができる。なお、仮想領域を設定する実空間を車両１００の対向車線とする場合には、後方に隣接する仮想領域について同じ車両ラベルを付加するようにする。これにより、同一の車両に対して前回の処理サイクルにおいて付加されたものと同じ車両ラベルを付加することができる。

なお１回目の処理サイクルのステップＳ２０においては、すべての仮想領域に新規の車両ラベルを付加する。また、異なる仮想領域群の仮想領域に対して同一の車両ラベルが付加された場合には、後方（車両１００により遠い方）の仮想領域群の仮想領域に対しては、新規の車両ラベルを付加する。このように、状態値が１である仮想領域にそれぞれ車両ラベルを付加することで、検出された車両１００の周囲物体を車両単位で判別することができる。付加された車両ラベルは仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ２１では、検出された周囲物体について、次の処理サイクルを実行する時刻ｔ＋Δｔにおける車両１００との相対位置を予測する。このとき、仮想領域群のうち一番前方の仮想領域の相対位置を、そのとき検出された周囲物体の相対位置とする。時刻ｔと時刻ｔ−Δｔにおいて、車両ラベルが同一である仮想領域群に対してこの周囲物体の相対位置の差を求めることにより、時間Δｔの間に車両１００に対して周囲物体が移動する移動量を求める。すなわち、時刻ｔにおける仮想領域３３の相対位置と、時刻ｔ−Δｔにおける仮想領域３２の相対位置との差により、この周囲物体の移動量が求められる。さらに、求められた周囲物体の移動量を時刻ｔにおける車両１００との相対位置に加えることにより、時刻ｔ＋Δｔにおける車両１００との相対位置を予測する。

ステップＳ２２では、ステップＳ２１で予測した周囲物体の相対位置が、衝突予想範囲内にあるか否かを判定する。相対位置が車両１００から所定距離以下である場合は、衝突予想範囲内にあると判定して、ステップＳ２３へ進む。そうでない場合は、衝突予想範囲内にはないと判定して、図７のステップＳ４へ戻る。

ステップＳ２３では、警報装置１１を作動させ、運転者へ衝突の危険性があることを知らせる。ステップＳ２３を実行した後は、図７のステップＳ４へ戻る。

上述した第１の実施の形態による周囲物体検出装置によれば、カメラ７により車両１００の周囲を撮影し、その周囲の実空間上に実空間に固定された複数の仮想領域３１〜３８を設定し、その仮想領域３１〜３８を撮影した画像の情報に基づいて車両１００の周囲の物体を検出するようにしたので、車両１００の周囲の物体において、投影面の違いや周囲の影などによってその画像情報が変化しても、その物体を検出することができる。
またこの周囲物体検出装置によれば、次のようにして自車両周囲の物体を検出する。車両１００の周囲の実空間に固定された仮想領域３１〜３８を設定する。車両１００とこの仮想領域３１〜３８との相対的な位置関係を計算し、計算された位置関係に基づいて車両１００の周囲を撮影した画像上に仮想領域３１〜３８に対応した領域２１〜２８を設定する。この画像上の領域２１〜２８の画像情報に基づいて仮想領域３１〜３８の特徴量を算出し、算出された特徴量に基づいて車両１００の周囲の物体を検出する。これにより、実空間に固定された仮想領域による画像情報に基づいて自車両の周囲物体が検出されるので、自車両の周囲の物体において、投影面の違いや周囲の影などによってその画像情報が変化しても、その物体を検出することができる。

――第２の実施の形態――
本発明による周囲物体検出装置の第２の実施の形態について説明する。第２の実施の形態では、仮想領域の特徴量の算出方法を、第１の実施の形態とは異なる方法によって行う。第１の実施の形態では、実空間上の仮想領域に対応する画像上の領域を求め、この画像上の平均輝度値の変化によって特徴量を算出する方法を説明した。第２の実施の形態では、第１の実施の形態において用いる平均輝度値に代えて、輝度値のヒストグラムの変化を特徴量の算出に用いる。なお、第２の実施の形態における構成は、図１に示す第１の実施の形態と同じであるため、ここでは図示を省略する。

第２の実施の形態における処理の流れを示すフローチャートの一部を図１０に示す。このフローチャートは、第１の実施の形態と同様に、ＣＰＵ１０で実行されるプログラムに基づくものであり、周囲物体検出装置１の動作時には常に実行されている。図１０において、図７と同一のステップ番号にて示される処理ステップでは第１の実施の形態と同一の処理を行うため、ここでは説明を省略する。なお、図１０のステップＳ１７を実行した後は図８のステップＳ１８〜Ｓ２３と同一の処理を実行するため、ステップＳ１８以降のフローチャートについては図示を省略する。

ステップＳ２Ａでは、図７のステップＳ２と同様に、ステップＳ１で読み込んだ初期画像に対応する実空間上に初期の仮想領域を設定し、この仮想領域に対応する初期の画像上の領域を設定する。さらに、仮想領域にそれぞれＩＤ番号を割り振り、車両１００と各仮想領域ごとの相対位置を算出する。このとき画像上の領域に対しては、図７のステップＳ２とは異なり、各領域ごとの輝度値のヒストグラムについて、その分散値（初期分散値）が次の式（２）によって計算される。式（２）において、Ｓ（ｎ，ｔ）は領域のＩＤ番号ｎ、時刻ｔにおける分散値を表す。このステップＳ２Ａでは、時刻０における初期分散値Ｓ（ｎ，０）が計算される。

ただし、
Ｎ ：着目する領域に含まれる総画素数
ｉ ：着目する領域に含まれる各画素の輝度値
Ｉ_min ：着目する領域におけるｉの最小値
Ｉ_max ：着目する領域におけるｉの最大値
μ ：着目する領域に含まれる全画素の平均輝度値
ｈ（ｉ） ：着目する領域に含まれる輝度値がｉの画素数

ステップＳ８Ａでは、図７のステップＳ８と同様に、新たな実空間上の仮想領域を、ステップＳ７で求めた移動量に応じて設定する。さらに、ここで設定した仮想領域についても、ステップＳ２Ａで設定した仮想領域と同様に、ＩＤ番号を各仮想領域ごとに割り振るとともに、車両１００とこれら各仮想領域ごとの相対位置を算出する。このとき、これらの仮想領域に対応する画像上の領域については、図７のステップＳ８とは異なり、上記の式（２）によって、各領域ごとに輝度値の分散値を計算する。

ステップＳ１４Ａでは、ステップＳ１３で設定した画像上の領域について、上記の式（２）により、その領域の輝度値の分散値を算出する。算出された分散値は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１５Ａでは、ステップＳ１４Ａで算出した分散値と、１回前の処理サイクルのステップＳ１４Ａで算出された分散値との差分の絶対値を次の式（３）により求め、求められたＤ’（ｎ，ｔ）をその仮想領域の特徴量とする。式（２）において、Ｓ（ｎ，ｔ−Δｔ）は１回前の処理サイクルにおける分散値を表している。なお１回目の処理サイクルにおいては、Ｓ（ｎ，ｔ−Δｔ）に代えて、ステップＳ２Ａで算出された初期分散値Ｓ（ｎ，０）が用いられる。このとき、今回の処理サイクルのステップＳ８Ａにおいて新たに設定された領域については、特徴量は０とする。算出された特徴量は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。この特徴量を用いて、第１の実施の形態と同様の方法によって、車両１００の周囲の車両を検出する。
Ｄ’（ｎ，ｔ）＝｜Ｓ（ｎ，ｔ）−Ｓ（ｎ，ｔ−Δｔ）｜ （３）

上述した方法によって周囲車両を検出する例を、図１１および１２に示す。図１１は、周囲車両がないときの例を示す図である。図１１（ａ）に示す時刻ｔの時点において、実空間上の仮想領域１２０を画像に投影したときの輝度値のヒストグラムが、たとえば図１１（ｃ）に示すものであったとする。また、図１１（ｂ）に示す、時刻ｔより後の時刻ｔ＋αの時点において、実空間上の仮想領域１２０を画像に投影したときの輝度値のヒストグラムが、たとえば図１１（ｄ）に示すものであったとする。この場合、図１１（ｃ）と（ｄ）に示す輝度値のヒストグラムは、仮想領域１２０に車両が進入していないため、ほとんど変化が見られない。このとき、図１１（ｃ）と（ｄ）のヒストグラムに示される輝度値の分散値は、ヒストグラムに変化がないため、ほぼ同じ値となる。したがって、その分散値によって計算される仮想領域１２０における特徴量は小さく、車両は検出されない。

図１２は、周囲車両が進入したときの例を示す図である。図１２（ａ）に示す時刻ｔの時点において、実空間上の仮想領域１２０を画像に投影したときの輝度値のヒストグラムが、たとえば図１２（ｃ）に示すものであったとする。また、図１２（ｂ）に示す、時刻ｔより後の時刻ｔ＋αの時点において、実空間上の仮想領域１２０を画像に投影したときの輝度値のヒストグラムが、たとえば図１２（ｄ）に示すものであったとする。この場合、図１２（ｂ）において仮想領域１２０に車両１０１が進入していることにより、輝度値のヒストグラムが図１２（ｃ）から（ｄ）に示すように大きく変化する。このとき、図１２（ｃ）と（ｄ）のヒストグラムに示される輝度値の分散値は、ヒストグラムが大きく変化しているため、その値は大きく異なる。したがって、その分散値によって計算される仮想領域１２０における特徴量は大きくなり、これがしきい値を越えるときに車両１０１が検出される。

上記の例では、輝度値のヒストグラムの変化をその分散値の差によって判別することとしたが、その他の方法により判別してもよい。たとえば、ヒストグラムのピーク（頻度が最大となる点）における頻度と輝度値の差により判別することとしてもよい。

上述した第２の実施の形態による周囲物体検出装置によれば、第１の実施の形態と同様の作用効果を得ることができる。

――第３の実施の形態――
本発明による周囲物体検出装置の第３の実施の形態について説明する。本実施形態では、仮想領域の相対位置算出時において車両の移動量に含まれる離散化誤差により生じる周囲物体の誤検出を防ぐため、注目する仮想領域上の動き成分を特徴量として利用する方法を用いる。なお、本実施形態における構成は、図１に示す第１および第２の実施の形態と同じであるため、ここでは図示を省略する。

上記に説明した第１および第２の実施の形態では、左右それぞれの車輪からの車輪速パルス数より時間Δｔ間の車両の移動量Ｖｔをデッドレコニングにより求め、その移動量Ｖｔのデッドレコニング情報によって車両と仮想領域との相対位置を算出する例について説明した。しかし、車輪速パルスは車輪が所定数分の１回転するごとに出力される離散化された車輪の回転数を表すものであるため、この車輪速パルス数より計算される移動量Ｖｔには、左右の車輪でそれぞれ１パルス以下の離散化（量子化）誤差が含まれることとなる。この離散化誤差によって、車両と仮想領域との相対位置に誤差が生じる。

車両の移動量Ｖｔに含まれる離散化誤差によって生じる仮想領域の相対位置の誤差は、車両の進行方向に対する誤差成分と、車軸の傾き方向に対する誤差成分とに分けることができる。前者の誤差成分における最大の誤差量Ｅ_ｆは１パルスあたりの車両の進行方向の移動量に相当するものであり、車輪の外周をｗ、１パルスあたりの車輪の回転数をｒとすると、下記の式（４）によって表される。
Ｅ_ｆ＝ｗ・ｒ ・・・・・・（４）

上記の式（４）において、たとえば車輪の外周を１８７ｃｍとし、さらに図１において説明したように１／８８回転ごとに車輪速パルスが１つ出力されるとすると、車両の進行方向に対する最大誤差量Ｅ_ｆは、１８７×１／８８≒２ｃｍとなる。このように、車両の進行方向に対する誤差成分の大きさは車両や仮想領域に比して小さいものであるため、上記に説明した周囲物体の検出処理に与える影響は小さい。

一方、後者の車軸の傾き方向に対する誤差成分では、左右の車輪による移動量の誤差がそれぞれ最大であり、かつ真値に対する誤差の正負が左右で逆となったときに最大の誤差量となる。この最大誤差量Ｅ_ａは、すなわち２パルスあたりの車軸の傾き方向の移動量に相当するものであり、車両のトレッドをｄとすると、下記の式（５）によって表される。
Ｅ_ａ＝２・ｗ・ｒ／ｄ ・・・・・・（５）

上記の式（５）において、たとえば車輪外周と車輪速パルス出力が前述した式（４）の例と同様であり、さらにこのときの車両のトレッドを１４２ｃｍとすると、車軸の傾き方向に対する最大誤差量Ｅ_ａは、２×１８７×１／８８÷１４２≒０．０３０ｒａｄ＝１．７２°となる。このとき、車両を基準とした仮想領域の相対位置において、たとえば車両の後方２０ｍでは、約６０ｃｍの横位置のずれが生じる。なお、ここでいう横位置とは自車両の進行方向に対して垂直な方向であり、図１３に示す自車両１００を基準とした座標系におけるｘ軸方向に相当する。この横位置のずれの例を図１４に示す。図１４（ａ）は、時刻ｔにおいて計算された仮想領域３１〜３６の本来の位置を示す。これに対して、時刻ｔ＋Δｔでは以上説明したような相対位置の誤差により、図１４（ｂ）に示すように横位置がずれて仮想領域３１〜３６と新たな仮想領域３７が設定される。このとき、たとえば仮想領域３４では、本来は含まれないはずの白線５０が仮想領域内に含まれることとなる。

このように、デッドレコニング情報の離散化誤差により仮想領域の横位置に誤差が生じることによって、仮想領域内に本来ないはずの白線が含まれることがある。すると、この仮想領域において路面の輝度値が変化する。前述した第１および第２の実施の形態のように、仮想領域内の路面の輝度値の変化によって周囲の他車両を検出した場合には、この輝度値の変化が誤検出につながることとなる。

本実施形態では、このようなデッドレコニング情報の離散化誤差によって仮想領域の横位置に誤差が生じても誤検出を生じないようにするため、特徴量として自車両に向かう方向、すなわち図１４のｙ軸方向における仮想領域上の動き成分を利用し、ｙ軸方向に動き成分を検出すると、その仮想領域に自車両に向かう移動物があると判定することとする。このようにすると、仮想領域の横位置に誤差が生じた場合において、ｘ軸方向には動き成分が現れるがｙ軸方向には現れないため、ｙ軸方向の動き成分は検出されず、自車両に向かう移動物はないと判定される。これにより、デッドレコニング情報の離散化誤差による誤検出を防ぐことができる。なお、ここでいう動き成分とは対地速度ベクトルのことであり、自車両に対する相対速度とは異なる。そのため、相体速度の向きに関わらず、対地速度ベクトルが自車両の方向に向かっている物体を検出できる。

第３の実施の形態における処理の流れを示すフローチャートを図１５に示す。このフローチャートは、第１および第２の実施の形態と同様に、ＣＰＵ１０で実行されるプログラムに基づくものであり、周囲物体検出装置１の動作時には常に実行されている。なお、図１５において図７および８と同一のステップ番号にて示される処理ステップでは、第１の実施の形態と同一の処理を行うため、ここでは説明を省略する。

ステップＳ１２Ａでは、そのときの仮想領域マップＭ_ｔに記録されている仮想領域全てについてカメラ７の観測範囲にあるか否かを判定し、観測範囲外に位置する仮想領域を仮想領域マップＭ_ｔより削除する。このステップＳ１２Ａにおける観測範囲にあるか否かの判定は、ステップＳ１２と同様に仮想領域マップＭ_ｔに記録された仮想領域と車両１００との相対位置により行われ、相対位置が一定値以上となったときに、その仮想領域は観測範囲にないと判定する。ここで削除された仮想領域の情報は、次回以降の処理サイクルにおいて作成される仮想領域マップには記録されない。なお、本実施形態で用いられる仮想領域マップは図９に示したものと同様の構造であるが、第１および第２の実施の形態で説明した車両ラベルについては、本実施形態の仮想領域マップには記憶されない。

ステップＳ１３Ａでは、そのときの仮想領域マップＭ_ｔに記録されている仮想領域（ステップＳ１０で相対位置を算出した仮想領域のうち、ステップＳ１２Ａで削除された仮想領域を除いたもの）全てに対応する画像上の領域を、ステップＳ１３で説明したのと同様の方法により、ステップＳ５で取り込んだ画像上に設定する。なお、画像上の各領域の位置および形状は、ステップＳ１３のときと同様に、対応する仮想領域に対して、ステップＳ１０で算出されて仮想領域マップＭ_ｔに記録された相対位置に基づいて投影処理を行うことにより、求めることができる。

ステップＳ１４Ｂでは、ステップＳ１３Ａで画像上に設定した各領域について、それぞれの平均輝度値を算出する。このステップＳ１４Ｂにおいて算出された平均輝度値を代表して、時刻ｔにおいて算出された領域のＩＤ番号がｍの平均輝度値をＩ（ｍ，ｔ）と表す。以降の説明では、この平均輝度値Ｉ（ｍ，ｔ）を用いて説明を行う。なお、算出された平均輝度値は仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１５Ｂでは、ステップＳ１４Ｂで算出された各領域の平均輝度値に基づいて、以下に説明する算出方法を用いて各仮想領域上における自車両に向かう動きの有無を算出する。まず、ステップＳ１４Ｂで平均輝度値Ｉ（ｍ，ｔ）を算出したＩＤ番号ｍの領域について、前回の処理サイクル（時刻ｔ−Δｔ）における平均輝度値との差分を下記の式（６）により求める。なお、以下ではこれを平均輝度値の時間微分値という。
Ｄｔ（ｍ，ｔ）＝Ｉ（ｍ，ｔ）−Ｉ（ｍ，ｔ−Δｔ） ・・・・・・（６）

次に、このＩＤ番号ｍの領域に対応する仮想領域を注目仮想領域とする。たとえば、図１６に示す仮想領域６１を注目仮想領域とする。さらに、実空間上でこの注目仮想領域６１の４近傍に位置する仮想領域６２〜６５のうち、自車両に一番遠いところに位置する仮想領域６２を隣接仮想領域として、この隣接仮想領域６２に対応する画面上の領域のＩＤ番号をｍ’とする。そして、今回の処理サイクル（時刻ｔ）におけるＩＤ番号ｍの領域と設定されたＩＤ番号ｍ’の領域との平均輝度値の差分を、下記の式（７）により求める。なお、以下ではこれを平均輝度値の空間微分値という。
Ｄｍ（ｍ，ｍ’，ｔ）＝Ｉ（ｍ，ｔ）−Ｉ（ｍ’，ｔ） ・・・・・（７）

さらに、上記の式（６）および（７）と同様にして、ＩＤ番号ｍ’の領域における平均輝度値の時間微分値と、前回の処理サイクル（時刻ｔ−Δｔ）における平均輝度値の空間微分値とを、下記の式（８）および（９）のように求める。なお、式（９）の前回の処理サイクルにおける平均輝度値の空間微分値は、今回の処理サイクルで求めずに、前回の処理サイクルにおいて式（７）で求められたものを用いるようにしてもよい。
Ｄｔ（ｍ’，ｔ）＝Ｉ（ｍ’，ｔ）−Ｉ（ｍ’，ｔ−Δｔ） ・・・（８）
Ｄｍ（ｍ，ｍ’，ｔ−Δｔ）
＝Ｉ（ｍ，ｔ−Δｔ）−Ｉ（ｍ’，ｔ−Δｔ） ・・・・・・・・（９）

上記の式（６）および（８）で求められた平均輝度値の時間微分値から、下記の式（１０）により、平均輝度値の時間微分値における注目仮想領域と隣接仮想領域との平均、すなわち平均輝度値の時間微分値についての空間平均を求める。また、式（７）および（９）で求められた平均輝度値の空間微分値から、下記の式（１１）により、平均輝度値の空間微分値における今回処理サイクルと前回処理サイクルとの平均、すなわち平均輝度値の空間微分値についての時間平均を求める。
Ｓｔ（ｍ，ｔ）＝｛Ｄｔ（ｍ，ｔ）＋Ｄｔ（ｍ’，ｔ）｝／２ （１０）
Ｓｍ（ｍ，ｍ’，ｔ）
＝｛Ｄｍ（ｍ，ｍ’，ｔ）＋Ｄｍ（ｍ，ｍ’，ｔ−Δｔ）｝／２ （１１）

さらに、上記の式（１０）および（１１）から、下記の式（１２）により自車両に向かう方向の動き成分ベクトル（対地速度ベクトル）を算出し、このベクトルＶ（ｍ，ｔ）が０より大きいか否かを判定する。
Ｖ（ｍ，ｔ）＝−Ｓｔ（ｍ，ｔ）／Ｓｍ（ｍ，ｍ’，ｔ）＞０ （１２）

自車両に向かって走行する車両が注目仮想領域に存在するとき、このようにして算出された対地速度ベクトルＶ（ｍ，ｔ）は、次に説明するように、０より大きくなる。したがって、式（１２）が満たされるときには、自車両に向かって走行する車両がその仮想領域に存在すると判定する。なお、式（１２）の判定を行うに当たっては、先に式（１１）に示す平均輝度値の空間微分値についての時間平均が所定のしきい値θより大きくなるか否かを判定し、これがしきい値θより大きくなったときに、式（１２）の判定を行うようにすることが好ましい。このようにすることで、注目仮想領域６１へその後方に位置する隣接仮想領域６２から車両が進入してきたときに、対応する領域の平均輝度値の変化を検出することができる。

以下に、自車両に向かって走行する車両が注目仮想領域に存在するときに対地速度ベクトルＶ（ｍ，ｔ）が０より大きくなる理由を、図１７に示す例を用いて説明する。はじめに、前述したデッドレコニングの誤差などによって注目仮想領域内に白線が含まれることで、仮想領域の平均輝度値に変化が生じた場合について説明する。このとき、図１７（ａ）に示すように、時刻ｔ−Δｔにおいて、符号７１に示す注目仮想領域ｍと符号７２に示す隣接仮想領域ｍ’には道路以外に何も含まれておらず、時刻ｔになると、それらの仮想領域に白線７３が含まれるとする。

図１７（ａ）に示す場合、時刻ｔにおいて、注目仮想領域ｍと隣接仮想領域ｍ’には、ほぼ同じ割合で白線が含まれている。そのため、式（７）に示す平均輝度値の空間微分値Ｄｍ（ｍ，ｍ’，ｔ）の値が０に近くなる。また、時刻ｔ−Δｔでは白線が含まれていないため、式（９）に示す平均輝度値の空間微分値Ｄｍ（ｍ，ｍ’，ｔ―Δｔ）の値についても、ほぼ０となる。したがって、式（１１）によりＳｍ（ｍ，ｍ’，ｔ）≒０となる。そのため、前述したように式（１２）の判定を行うために所定のしきい値θを設定し、そのθを適切な値としておくことにより、このような場合にＳｍ（ｍ，ｍ’，ｔ）＜θとなって、誤検出を防ぐことができる。

次に、自車両に向かって走行する車両が注目仮想領域に存在する場合について説明する。このとき、図１７（ｂ）に示すように、時刻ｔ―Δｔにおいて隣接仮想領域ｍ’に車両７４が含まれており、その後車両７４が自車両に接近することによって、時刻ｔになると、注目仮想領域ｍと隣接仮想領域ｍ’の両方に車両７４が含まれるとする。以下、路面に比べて車両の輝度値が高い場合と、低い場合とに分けて説明を行う。

路面に比べて車両の輝度値が高い場合、時刻ｔ―Δｔよりも時刻ｔのときの方が、注目仮想領域ｍ、隣接仮想領域ｍ’ともに、その仮想領域中に占める車両の割合が大きく、その平均輝度値が高くなる。このことから、たとえば、時刻ｔ−Δｔにおいて、注目仮想領域ｍと隣接仮想領域ｍ’の平均輝度値がそれぞれＩ（ｍ，ｔ−Δｔ）＝１００とＩ（ｍ’，ｔ−Δｔ）＝１５０であり、時刻ｔにおいては、Ｉ（ｍ，ｔ）＝１５０とＩ（ｍ’，ｔ）＝２００であったとする。このとき、式（６）〜（９）は以下のように計算される。
Ｄｔ（ｍ，ｔ）＝５０
Ｄｔ（ｍ’，ｔ）＝５０
Ｄｍ（ｍ，ｍ’，ｔ）＝−５０
Ｄｍ（ｍ，ｍ’，ｔ−Δｔ）＝−５０

上記の計算結果より対地速度ベクトルを算出すると、以下のようになり、式（１２）が満たされる。
Ｖ（ｍ，ｔ）＝−｛（５０＋５０）／２｝／｛（−５０−５０）／２｝＝１＞０

一方、路面に比べて車両の輝度値が低い場合、時刻ｔ―Δｔよりも時刻ｔのときの方が、注目仮想領域ｍ、隣接仮想領域ｍ’ともに、その平均輝度値が低くなる。このことから、たとえば、時刻ｔ−Δｔにおける注目仮想領域ｍと隣接仮想領域ｍ’の平均輝度値がそれぞれＩ（ｍ，ｔ−Δｔ）＝１５０とＩ（ｍ’，ｔ−Δｔ）＝１００であり、時刻ｔにおいてＩ（ｍ，ｔ）＝１００とＩ（ｍ’，ｔ）＝５０であったとする。このとき、式（６）〜（９）は以下のように計算される。
Ｄｔ（ｍ，ｔ）＝−５０
Ｄｔ（ｍ’，ｔ）＝−５０
Ｄｍ（ｍ，ｍ’，ｔ）＝５０
Ｄｍ（ｍ，ｍ’，ｔ−Δｔ）＝５０

上記の計算結果より対地速度ベクトルを算出すると、以下のようになり、この場合にも式（１２）が満たされる。
Ｖ（ｍ，ｔ）＝−｛（−５０−５０）／２｝／｛（５０＋５０）／２｝＝１＞０

次に、自車両と対向方向に走行する車両が注目仮想領域に存在する場合について説明する。このとき、図１７（ｃ）に示すように、時刻ｔ―Δｔにおいて注目仮想領域ｍに車両７５が含まれており、その後車両７５が自車両から遠ざかることによって、時刻ｔになると、注目仮想領域ｍと隣接仮想領域ｍ’の両方に車両７５が含まれるとする。この場合に上記と同様にして対地速度ベクトルを計算すると、路面に比べて車両の輝度値が高い場合と低い場合のいずれについても、Ｖ（ｍ，ｔ）＜０となり、式（１２）が満たされない。

以上説明したように、自車両に向かって走行する車両が注目仮想領域に存在するときのみ、対地速度ベクトルＶ（ｍ，ｔ）は０より大きくなり、式（１２）を満たす。このことから、領域ＩＤ番号がｍの領域について、対地速度ベクトルＶ（ｍ，ｔ）を算出することにより、自車両に向かう動きの有無を算出することができる。このようにすることで、第１および第２の実施の形態における図８のステップＳ１８〜Ｓ２０の処理、すなわち移動物が自車両に向かうか否かを判定するための処理が、本実施形態において不要となる。その結果、処理量の軽減を図ることができる。

上記の説明と同様にして、ステップＳ１３Ａで画像上に設定された全ての領域について対地速度ベクトルを算出し、これによって各仮想領域上における自車両に向かう動きの有無を算出する。このようにしてステップＳ１５Ｂで算出された各領域の対地速度ベクトルの値は特徴量として仮想領域マップＭ_ｔに記録され、仮想領域マップＭ_ｔが更新される。

ステップＳ１６Ａでは、ステップＳ１５Ｂで算出された各仮想領域上における自車両に向かう動きの有無により各仮想領域の状態値を求め、これを仮想領域マップＭ_ｔに記録する。このとき、自車両に向かう動きが算出された仮想領域、すなわち前述のようにして算出された対地速度ベクトルが０より大きい仮想領域については、その状態値を１とする。それ以外の仮想領域については、状態値を０とする。ステップＳ１６Ａの実行後はステップＳ２２を実行し、さらにステップＳ２２が肯定判定された場合にはＳ２３を実行して、ステップＳ４へ戻る。

以上説明した第３の実施の形態によれば、注目仮想領域と対応する領域について、平均輝度値の時間微分値を式（６）により算出する。また、注目仮想領域と、その注目仮想領域に実空間上で自車両の一番遠い位置に隣接する隣接仮想領域とについて、空間微分値を式（７）により算出する。そして、算出された平均輝度値の時間微分値および空間微分値に基づいて、式（１２）により注目仮想領域の対地速度ベクトルを算出する。さらに、この対地速度ベクトルを全ての仮想領域について算出することにより、仮想領域の特徴量を算出する（ステップＳ１５Ｂ）。そして、算出された特徴量に基づいて、各仮想領域の状態値を求める（ステップＳ１６Ａ）。このようにしたので、第１および第２の実施の形態と同様の作用効果が得られる。さらに、デッドレコニング情報の離散化誤差によって仮想領域の横位置に誤差が生じ、仮想領域内に本来ないはずの白線などが含まれる場合において、誤検出を生じないようにすることができる。

以上の実施の形態では、たとえば撮影手段をカメラ７で実現し、車両運動検出手段を車両センサ８で実現し、移動量算出手段、仮想領域設定手段、相対位置算出手段、投影処理手段、画像領域設定手段、特徴量算出手段、および周囲物体検出手段をＣＰＵ１０で実現している。しかし、これらはあくまで一例であり、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。

本発明の構成を示す図である。 カメラ７の視軸方向を示す図である。 道路を走行中の車両１００と、実空間上に設定される仮想領域との関係を示す図であり、（ａ）は時刻ｔ１、（ｂ）は時刻ｔ２、（ｃ）は時刻ｔ３の状態をそれぞれ示す。 道路を走行中の車両１００に搭載されたカメラ７で撮影される画像および画像上に設定される領域を示す図であり、（ａ）は時刻ｔ１、（ｂ）は時刻ｔ２、（ｃ）は時刻ｔ３の状態をそれぞれ示す。 道路を走行中の車両１００と、実空間上に設定される仮想領域との関係、および車両１００の周囲に存在する検出対象の車両との関係を示す図であり、（ａ）は時刻ｔ１、（ｂ）は時刻ｔ２、（ｃ）は時刻ｔ３の状態をそれぞれ示す。 図５に示す状況において、仮想領域３４に対応する画像上の領域における平均輝度値の時間変化を示す図である。 第１の実施の形態における周囲車両検出の処理の流れを示すフローチャートのうち、ステップＳ１〜Ｓ１７までを示す図である。 第１の実施の形態における周囲車両検出の処理の流れを示すフローチャートのうち、ステップＳ１８〜Ｓ２３までを示す図である。 仮想領域マップのデータ構造を示す図である。 第２の実施の形態における周囲車両検出の処理の流れを示すフローチャートのうち、ステップＳ１〜Ｓ１７までを示す図である。 第２の実施の形態におけるカメラ７で撮影される画像の例と輝度値のヒストグラムとの関係を示す図であり、周囲車両が存在しない状況において、（ａ）は時刻ｔにおける画像例、（ｂ）は時刻ｔ＋αにおける画像例を示し、（ｃ）は（ａ）に示す画像例における輝度値のヒストグラムの例、（ｄ）は（ｂ）に示す画像例における輝度値のヒストグラムの例をそれぞれ示す。 第２の実施の形態におけるカメラ７で撮影される画像の例と輝度値のヒストグラムとの関係を示す図であり、周囲車両が存在する状況において、（ａ）は時刻ｔにおける画像例、（ｂ）は時刻ｔ＋αにおける画像例を示し、（ｃ）は（ａ）に示す画像例における輝度値のヒストグラムの例、（ｄ）は（ｂ）に示す画像例における輝度値のヒストグラムの例をそれぞれ示す。 自車両を基準とした座標系を示す図である。 デッドレコニング情報の離散化誤差により生ずる仮想領域の横位置のずれの例を示す図であり、（ａ）は時刻ｔにおける本来の位置、（ｂ）は時刻ｔ＋Δｔにおける横位置がずれた位置を示す図である。 第３の実施の形態における周囲車両検出の処理の流れを示すフローチャートを示す図である。 注目仮想領域と隣接仮想領域との位置関係を示す図である。 自車両に向かって走行する車両が注目仮想領域に存在するときに対地速度ベクトルが０より大きくなる理由を説明するための図であり、（ａ）は注目仮想領域内に白線が含まれたときの例、（ｂ）は自車両に向かって走行する車両が注目仮想領域に存在するときの例、（ｃ）は自車両と対向方向に走行する車両が注目仮想領域に存在するときの例をそれぞれ示す。

符号の説明

１ 周囲物体検出装置
１００ 自車両
１０１ 検出対象とする周囲の他車両
２１〜２８ 撮影した画像上に設定する領域
３１〜３８ 実空間上に設定する仮想領域

Claims (6)

1. 車両の周囲を撮影する撮影手段と、
   前記車両の周囲の実空間上に前記実空間に固定された複数の仮想領域を設定し、その仮想領域を前記撮影手段により撮影した画像の情報に基づいて、前記車両の周囲の物体を検出する検出手段とを備えることを特徴とする周囲物体検出装置。
2. 車両に搭載されてその車両の周囲の物体を検出する周囲物体検出装置において、
   前記車両の周囲を撮影する撮影手段と、
   前記車両の運動を検出する車両運動検出手段と、
   前記車両運動検出手段により検出された前記車両の運動に基づいて前記車両の移動量を計算する移動量算出手段と、
   前記車両の周囲の実空間上に前記実空間に固定された複数の仮想領域を設定し、前記移動量に応じて新たな前記仮想領域を設定する仮想領域設定手段と、
   前記移動量算出手段により計算された前記車両の移動量に基づいて前記車両と前記仮想領域との相対的な位置関係を計算する相対位置算出手段と、
   前記相対位置算出手段により計算された位置関係に基づいて、前記仮想領域を前記撮影手段により撮影された画像に投影したときの前記画像における位置と形状を演算する投影処理手段と、
   前記投影処理手段により演算された位置と形状に基づいて、前記画像上に前記仮想領域に対応する領域を設定する画像領域設定手段と、
   前記画像領域設定手段により設定された領域内の画像情報に基づいて、前記仮想領域の特徴を表す特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された特徴量に基づいて、前記仮想領域に存在する前記車両の周囲物体を検出する周囲物体検出手段とを備えることを特徴とする周囲物体検出装置。
3. 請求項２の周囲物体検出装置において、
   前記周囲物体検出手段により検出された周囲物体の未来の位置を予測し、その位置が前記車両の衝突予想範囲内にある場合は、それを報知する報知手段を備えることを特徴とする周囲物体検出装置。
4. 請求項２または３の周囲物体検出装置において、
   前記特徴量算出手段は、前記画像領域設定手段により設定された領域の平均輝度値の変化量により、前記仮想領域の特徴を表す特徴量を算出することを特徴とする周囲物体検出装置。
5. 請求項２または３の周囲物体検出装置において、
   前記特徴量算出手段は、前記画像領域設定手段により設定された領域の輝度値のヒストグラムの変化により、前記仮想領域の特徴を表す特徴量を算出することを特徴とする周囲物体検出装置。
6. 請求項２または３の周囲物体検出装置において、
   前記特徴量算出手段は、前記仮想領域のうち前記画像領域設定手段により設定された領域のいずれか１つに対応する仮想領域を注目仮想領域とし、
   前記設定された領域のうち前記注目仮想領域に対応する領域について、現在時刻の平均輝度値と現在時刻より所定時間前の平均輝度値との差分である平均輝度値の時間微分値を算出し、
   前記注目仮想領域と実空間上で隣接する仮想領域の中から前記車両に最も遠い位置にあるものを隣接仮想領域とし、前記設定された領域のうち前記注目仮想領域に対応する領域について、その領域の平均輝度値と前記隣接仮想領域に対応する領域の平均輝度値との差分である平均輝度値の空間微分値を算出し、
   前記算出された平均輝度値の時間微分値および空間微分値に基づいて前記注目仮想領域上の前記車両に向かう方向の対地速度成分を算出し、
   前記仮想領域ごとの前記対地速度成分を算出することにより、前記仮想領域の特徴を表す特徴量を算出することを特徴とする周囲物体検出装置。
   

Images