JP2007241898A

JP2007241898A - 停止車両分別検出装置および車両の周辺監視装置

Info

Publication number: JP2007241898A
Application number: JP2006066637A
Authority: JP
Inventors: Masato Watanabe; 正人渡辺; Hiroshi Sato; 公士佐藤; Yoshizo Ishida; 喜三石田; Tomo Fujimaki; 朋藤巻; Hiroyuki Tokunaga; 裕之徳永
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-03-10
Filing date: 2006-03-10
Publication date: 2007-09-20

Abstract

【課題】自車両の前方で停止している他車両が、一時的な停止車両であるか否かを高い信頼性で区別して検出し、自車両の運転者に適切な警報を行なう。
【解決手段】撮像装置２Ｒ，２Ｌにより撮像される自車両１０の前方の画像から停止している他車両を検出し、その他車両の画像の輝度状態を基に他車両の温度状態を検出する。この温度状態に基づいて他車両が一時的な停止車両であるか否かを判定する。一時的な停止車両であるか否かに応じて、対象物の検出領域と対象物に関する警報発生要件とのうちの少なくともいずれかを可変的に設定する。
【選択図】図１

Description

本発明は、自車両の前方で停止している他車両が一時的な停止車両であるか、長期的な停止車両であるかを分別して検出する装置と、その装置を利用する車両の周辺監視装置に関する。

車両に搭載した撮像装置により、自車両の前方などを撮像し、その撮像画像から、歩行者、他車両などの対象物を検出し、検出された対象物が歩行者である場合、あるいは、検出された対象物が自車両に衝突する恐れがある場合など、所要の警報発生要件を満たす対象物が検出された場合に、自車両の運転者に警報を行なうようにして、運転者の注意を喚起するようにした装置が従来より知られている（例えば特許文献１および特許文献２を参照）。
特開平１１−２１５４８７号公報特開２００３−２３０１３４号公報

ところで、自車両の前方（自車両の正面前方だけでなく、斜め前方も含む）に存在する他車両が停止している（移動していない）場合、該他車両の停止状況がどのような状況であるのかによって、衝突回避などのために自車両の運転者に注意させるべき環境範囲を変化させることが望ましい場合が多々ある。例えば、自車両の前方（特に斜め前方）で停止している他車両が一時的に停止している車両である場合には、自車両の運転者が未だ認識できていないか、もしくはほとんど注意を向けていない人を、該他車両の運転者が横断させようとしたり、該他車両に乗車させようとしている状況や、該他車両の乗員が降車しようとしている状況などが多々ある。また、前記他車両が駐車直後の停止状態である場合にも、該他車両の乗員が降車しようとしている状況が多々ある。そして、このような状況では、道路の横断者、他車両からの降車した人などが、自車両の前方に不意に飛び出して来るような状況が、前記他車両が定常的に停止（駐車）している場合に比べて発生しやすい。

従って、上記のような状況では、自車両の前方で他車両が定常的に停止している場合、あるいは、自車両の前方で停止している他車両が存在しない場合よりも広範囲にわたって人の存在などに対する運転者の注意を喚起することが望ましい。

一方、撮像装置の撮像画像などから、自車両の前方の他車両を検出する手法としては、前記特許文献２に見られる手法など、種々様々の手法が従来より提案されている。また、該他車両が、停止している車両であるか否かは、例えば、該他車両の自車両に対する相対速度を検出し、その相対速度と自車両の検出速度との比較などにより、認識することが可能である。

しかるに、従来は、自車両の前方で停止している他車両が、一時的に停止しているのか、あるいは、駐車直後の状態なのか、あるいは、定常的に駐車している状態なのかというような該他車両の停止状況の形態を区別して検知する適切な手法が未だ提案されていないのが実状である。従って、他車両の停止状況がどのような形態の停止状況であるのかを区別して検出する手法が望まれてる。

この場合、例えば可視光域の撮像装置を自車両に搭載した場合には、自車両の前方で停止している他車両の制動灯の点灯の有無により、該他車両が一時的に停止しているか否かを検知することが考えられる。しかるに、この場合には、前記他車両が対向車線に存在する場合には、該他車両が一時的に停止しているか否かを検知することができず、さらには、サイドブレーキなどの駐車用ブレーキ装置を作動させて一時的に停止した他車両や、駐車直後の他車両を検知することもできない。

本発明は、かかる背景に鑑みてなされたものであり、自車両の前方で停止している他車両が、一時的な停止車両であるか否かを高い信頼性で区別して検出することができる停止車両分別検出装置を提供することを目的とする。さらに、この停止車両分別検出装置を使用して、自車両の運転者に適切な警報を行なうことができる車両の周辺監視装置を提供することを目的とする。

なお、本発明においては、「一時的な停止車両」は、車両の原動機（推進源）を運転させたまま停止している車両、あるいは、車両の原動機の運転を停止した直後の状態で停止している車両を意味する。

本発明の停止車両分別検出装置は、前記の目的を達成するために、自車両の前方で停止している他車両が一時的な停止車両であるか否かを区別して検出する停止車両分別検出装置であって、自車両の前部に搭載され、遠赤外域に感度を有する撮像装置と、該撮像装置により撮像された自車両の前方の画像から停止中の他車両を検出する停止車両検出手段と、該停止車両検出手段により停止中の他車両が検出されたとき、前記撮像装置により撮像された画像のうちの、該停止中の他車両に対応する部分画像である停止車両画像を基に、該停止中の他車両の温度状態を検出する温度状態検出手段と、該温度状態検出手段により検出された温度状態に基づいて、前記停止中の他車両が一時的な停止車両であるか否かを区別して判定する判定手段とを備えることを特徴とする。

かかる本発明によれば、前記撮像装置は、遠赤外域に感度を有する撮像装置であるので、該撮像装置により撮像された自車両の前方の画像に、停止中の他車両に対応する前記停止車両画像が含まれる場合に、該停止車両画像は、該他車両の温度状態に応じた画像となる。詳しくは、該停止車両画像の各部の輝度がその部分に対応する他車両の部分の温度に応じたものなる。従って、該停止車両画像を基に、該他車両の温度状態を検出することができる。

ここで、前記停止中の他車両の温度状態（温度分布など）は、該他車両が一時的な停止車両であるか否かで顕著な差異を生じる。すなわち、停止中の他車両が一時的な停止車両でない場合には、一般に、該他車両の各部の温度がさほど高くないと共にその温度のばらつきが小さい。これに対して、該他車両が一時的な停止車両である場合には、該他車両の温度状態は、局所的な高温部を有するような温度状態となる。例えば該他車両の各部のうち、排気管の箇所、タイヤの箇所、あるいは、原動機搭載部の温度が、他の部分の温度よりも高温になる。また、該他車両の各部の温度のばらつきも生じる。従って、前記停止車両画像を基に、該他車両の温度状態を検出することで、該他車両が一時的な停止車両であるか否かを区別して判定することができる。

よって、本発明の停止車両分別検出装置によれば、自車両の前方で停止している他車両が、一時的な停止車両であるか否かを高い信頼性で区別して検出することができる。

なお、前記停止車両検出手段による他車両の検出は、公知の手法で行なえばよい。また、このとき、該他車両が停止しているか否かの判断は、例えば、レーダーによる公知の測距手法や、ステレオ画像処理による視差を利用した公知の測距手法により、該他車両の自車両に対する相対位置を時系列的に検出し、その相対位置の時系列から求められる相対速度と、自車両の検出速度との比較に基づいて判断すればよい。

かかる本発明の停止車両分別検出装置では、前記温度状態検出手段により検出する温度状態は、少なくとも前記停止中の他車両の所定の部位の温度状態を含むことが好ましい。この場合、前記所定の部位は、例えば前記他車両の排気管とタイヤと原動機搭載部とのうちの少なくともいずれかであることが好ましい。

すなわち、停止中の他車両が一時的な停止車両である場合、前記したように該他車両の温度状態は、局所的な高温部分を有するような温度状態となるので、例えばそのような高温部分を前記所定の部位として、該所定の部位の温度状態を検出することで、該所定の温度状態を基に、該他車両が一時的な停止車両であるか否かを容易に判定することができる。特に、該他車両が一時的な停止車両であるときには、該他車両の排気管、タイヤ、原動機搭載部の温度が顕著に高温になるので、これらの排気管、タイヤ、原動機搭載部のいずれかを前記所定の部位として、該所定の部位の温度状態を検出することで、他車両が一時的な停止車両であるか否かの判定を高い信頼性で適切に行なうことができる。

また、本発明の停止車両分別検出装置では、前記停止車両画像の各部の輝度は、その部分に対応する他車両の部分の温度に応じたものとなるので、前記温度状態検出手段は、前記停止車両画像の輝度状態を前記停止中の車両の温度状態を示すものとして検出するようにすればよい。これにより、他車両の温度状態の適切な検出を容易に行なうことができる。

次に、本発明の車両の周辺監視装置は、前記の目的を達成するために、第１の態様および第２の態様があり、その第１の態様は、少なくとも自車両の前方の所定の検出領域に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物が少なくとも所定の警報発生要件を満たすことを必要要件として、自車両の運転者に警報を発する警報発生手段とを備えた車両の周辺監視装置において、前記した本発明の停止車両分別検出装置と、該停止車両分別検出装置の前記判定手段の判定結果に応じて前記検出領域を可変的に設定する検出領域設定手段とを備えたことを特徴とする。

この第１の態様によれば、前記停止車両分別検出装置の判定手段の判定結果に応じて前記検出領域（空間的な領域）を可変的に設定するので、自車両の前方の停止中の他車両が一時的な停止車両である場合と、そうでない場合とで、前記対象物を検出しようとする検出領域を異なるものにすることができる。このため、該停止中の他車両が一時的な停止車両であるか否かで、それぞれの停止状況に適した検出領域で前記対象物を検出することができ、ひいては、それぞれの停止状況に適した警報を自車両の運転者に対して行なうことができる。

従って、本発明の車両の周辺監視装置の第１の態様によれば、本発明の停止車両分別検出装置を効果的に使用して、自車両の運転者に適切な警報を行なうことができる。

なお、この第１の態様では、前記対象物検出手段による対象物の検出は、前記停止車両分別検出装置の撮像装置により撮像された画像を基に行なうようにしてもよいことはもちろんであるが、前記停止車両分別検出装置の撮像装置とは別の撮像装置を使用して、あるいは、レーダなどの別の検出手段を使用して対象物を検出するようにしてもよい。

かかる第１の態様では、より具体的には、前記検出領域設定手段は、前記停止車両分別検出装置の判定手段により前記検出された停止中の他車両が一時的な停止車両であると判定されたときには、前記停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記検出領域を少なくとも前記自車両の幅方向に拡大するように設定することが好ましい。

これによれば、自車両の前方に停止中の他車両が検出され、その他車両が一時的な停止車両であると判定されたとき、すなわち、人などの飛び出しの可能性が高まって、自車両の運転者が注意すべき周辺範囲が広がる状況では、停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記検出領域を少なくとも前記自車両の幅方向に拡大するので、前記警報発生要件を満たすような対象物が検出され得る空間的な範囲が、少なくとも自車両の車幅方向に大きくなる。このため、警報発生要件を満たすような対象物（特に自車両の運転者の注意が未だ向けられていないような対象物）を早期に検出して、運転者に警報を発することができる。また、停止中の他車両が検出されないか、または、検出された停止中の他車両が一時的な停止車両でない場合には、前記検出領域が、検出された停止中の他車両が一時的な停止車両である場合よりも自車両の車幅方向に狭めになるので、必要以上に警報の発生の頻度が高まるのを防止できる。

なお、本発明の車両の周辺監視装置の第１の態様では、前記対象物検出手段が、前記停止車両分別検出装置の前記撮像装置により撮像された自車量の前方の画像を基に、前記対象物を検出する手段であり、前記検出領域設定手段は、前記撮像装置により撮像された画像のうちの、前記対象物を検出すべき画像領域を前記停止車両分別検出装置の判定手段の判定結果に応じて可変的に設定することにより、前記検出領域を可変的に設定することができる。そして、この場合、警報対象物検出手段と停止車両分別検出装置とで、撮像装置を共用できる。

また、本発明の車両の周辺監視装置の第２の態様は、前記の目的を達成するために、少なくとも自車両の前方に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物が少なくとも所定の警報発生要件を満たすことを必要要件として、自車両の運転者に警報を発する警報発生手段とを備えた車両の周辺監視装置において、前記した本発明の停止車両分別検出装置と、該停止車両分別検出装置の前記判定手段の判定結果に応じて前記警報発生要件を可変的に設定する警報発生要件設定手段とを備えたことを特徴とする。

この第２の態様によれば、前記停止車両分別検出装置の判定手段の判定結果に応じて前記警報発生要件を可変的に設定するので、自車両の前方の停止中の他車両が一時的な停止車両である場合と、そうでない場合とで、異なる警報発生要件で、自車両の運転者に対する警報を行なうことができる。このため、該停止中の他車両が一時的な停止車両であるか否かで、それぞれの停止状況に適した警報発生要件で、適宜、自車両の運転者に対する警報を行なうことができる。

従って、本発明の車両の周辺監視装置の第２の態様によれば、本発明の停止車両分別検出装置を効果的に使用して、自車両の運転者に適切な警報を行なうことができる。

なお、この第２の態様では、第１の態様の場合と同様に、前記対象物検出手段による対象物の検出は、前記停止車両分別検出装置の撮像装置により撮像された画像を基に行なうようにしてもよいことはもちろんであるが、前記停止車両分別検出装置の撮像装置とは別の撮像装置を使用して、あるいは、レーダなどの別の検出手段を使用して対象物を検出するようにしてもよい。

かかる第２の態様では、前記警報発生要件が、前記対象物検出手段により検出された警報対象物の、自車両の前方の所定の警報領域に対する位置関係に関する要件を含む場合には、前記警報発生要件設定手段は、前記警報領域を前記停止車両分別検出装置の判定手段の判定結果に応じて可変的に設定することにより前記警報発生要件を可変的に設定する手段であることが好ましい。

これによれば、自車両の前方の停止中の他車両が一時的な停止車両である場合と、そうでない場合とで、前記警報領域が異なる領域に設定され、その警報領域の変化によって、前記対象物が同じであっても、該対象物の警報領域に対する位置関係を変化させることができる。それにより、前記警報発生要件の可変的な設定を容易に行なうことができる。

なお、この場合の警報発生要件としては、警報領域内に対象物が存在する、対象物が、所定時間内に警報領域内に進入することが予測される、などの条件が挙げられる。

この場合、より具体的には、前記警報発生要件設定手段は、前記停止車両分別検出装置の判定手段により前記検出された停止中の他車両が一時的な停止車両であると判定されたときには、前記停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記警報領域を少なくとも前記自車両の幅方向に拡大するように設定することが好適である。

これによれば、自車両の前方に停止中の他車両が検出され、その他車両が一時的な停止車両であると判定されたとき、すなわち、人などの飛び出しの可能性が高まって、自車両の運転者が注意すべき周辺範囲が広がる状況では、停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記警報領域を少なくとも前記自車両の幅方向に拡大するので、検出された対象物が、前記警報発生要件を満たすようになる機会を高めることができる。ひいては、自車両の運転者に対する警報の機会を増やし、該運転者の注意を効果的に喚起することができる。

なお、本発明の車両の周辺監視装置の第１および第２の態様においては、前記対象物は、少なくとも人を含むことが好ましい。

ただし、該対象物には、人以外の動物、他車両などを含めてもよく、複数種類の対象物を検出するようにしてもよい。対象物に他車両を含めた場合には、例えば前記停止車両分別検出装置により一時的な停止車両が検出されるということを前記警報発生要件として、運転者に対する警報を行なうようにしてもよい。

また、本発明の車両の周辺監視装置の第１および第２の態様においては、警報発生要件は、警報対象物の、自車両の前方の所定の警報領域に対する位置関係に関する要件に限られるものではなく、例えば複数種類の対象物（例えば人と他車両）との相互の空間的または時間的な関係に関する要件であってもよい。

また、本発明の車両の周辺監視装置の第１の態様と第２の態様とは併用してもよい。すなわち、前記停止車両分別検出装置の判定手段の判定結果に応じて、前記検出領域および警報発生要件の両者を可変的に設定するようにしてもよい。

本発明の一実施形態を以下に図１〜図９を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、自車両１の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な警報情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な警報情報を表示するための表示装置７とが接続されている。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物に関する所定の警報発生要件が満たされるか否かを判定し、該警報発生要件が満たされる場合に前記スピーカ６や表示装置７を介して運転者に警報を発する処理などをマイクロコンピュータにより実行する。

従って、画像処理ユニット１は、本発明における対象物検出手段、警報発生手段としての機能を備えている。また、画像処理ユニット１は、本発明の停止車両分別検出装置としての機能（より詳しくは、停止車両検出手段、温度状態検出手段および判定手段の機能）を含んでいる。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように自車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。

また、前記表示装置７は、本実施形態では、例えば自車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３および図４のフローチャートの処理のうちの多くの処理は、例えば前記特許文献２の図３に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。なお、ＳＴＥＰ１〜３の処理は、前記特許文献２の図３のＳ１〜Ｓ３の処理と同じである。

次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

補足すると、本実施形態では、上記２値化処理は、基準画像のうち、後述するＳＴＥＰ１８，１９で設定される対象物抽出画像領域で行なわれる。該対象物抽出画像領域は、本実施形態では、基準画像の全体の領域と、それよりも小さい領域とのうちのいずれかに設定される。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。

なお、ＳＴＥＰ５〜７の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献２の図３のＳ５〜Ｓ９の処理と同じである。また、ＳＴＥＰ１〜９の処理により、本発明における対象物検出手段が構成される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の自車両１０からの距離を求める処理であり、前記特許文献２の図３のＳ１１〜Ｓ１３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。

前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

なお、ＳＴＥＰ１４，１５の処理は、前記特許文献１の図３のＳ１４、Ｓ１５の処理と同じである。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１６）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の自車両１０に対する相対速度ベクトルに比例する。なお、ＳＴＥＰ１６の処理は、前記特許文献１の図３のＳ１６の処理と同じである。

次いで、画像処理ユニット１は、自車両１０の前方（より詳しくは前記ＳＴＥＰ７で対象物の抽出を行なった前記対象物抽出画像領域に対応する自車両１０の前方の空間的領域）に、一時的な停止車両が存在するか否かを判断する（ＳＴＥＰ１７）。そして、このＳＴＥＰ１７の判断結果に応じて、後述する警報領域の幅と、次回以降の前記ＳＴＥＰ４の処理で２値化を行なう対象物抽出画像領域とを設定する（ＳＴＥＰ１８、１９）。さらに、画像処理ユニット１は、抽出された対象物が所定の警報発生要件を満たすか否かを判断する警報判定処理を実行する（ＳＴＥＰ２０）。なお、ＳＴＥＰ１７〜２０の処理の詳細は後述する。

そして、画像処理ユニット１は、ＳＴＥＰ２０の警報判定処理において、いずれの対象物も警報発生要件を満たさない（警報発生要件に該当する対象物が存在しない）と判断した場合（ＳＴＥＰ２０の判断結果がＮＯとなる場合）には、前記ＳＴＥＰ１からの処理を再開する。また、ＳＴＥＰ２０で、いずれかの対象物が警報発生要件を満たすと判断した場合（ＳＴＥＰ２０の判断結果がＮＯとなる場合）には、ＳＴＥＰ２１に進んで、警報発生要件を満たす対象物に関する実際の警報を行なうべきか否かの判定を行なう警報出力判定処理を実行する（ＳＴＥＰ２１）。この警報出力判定処理では、前記ブレーキセンサ５の出力から、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、警報を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、警報を行なうべきと判定される。

そして、画像処理ユニット１は、警報を行なうべきと判定した場合（ＳＴＥＰ２１の判断結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる警報を自車両１０の運転者に対して発する警報発生処理を実行し（ＳＴＥＰ２２）、さらにＳＴＥＰ１からの処理を再開する。この警報発生処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の、前記警報発生要件を満たす対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ２１で警報を行なわないと判断したとき（全ての対象物について警報を行なわないと判断したとき）には、ＳＴＥＰ２１の判断結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。

以上が本実施形態の周辺監視装置の全体的作動である。

次に、説明を後回しにした前記ＳＴＥＰ１７〜ＳＴＥＰ２０の処理を以下に詳細に説明する。なお、以下の説明では、適宜、図５に示す状況を例に採って具体的な説明をする。この例では、自車両１０の斜め左前方に、自車両１０の走行車線２１上で停止している他車両２２が存在し、対向車線２３上で、自車両１０に近づく向きに走行している他車両２４が存在する。さらに、自車両１０の斜め左前方に、斜線付きの丸で表す人（歩行者）Ｐ１，Ｐ２が存在している。また、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（以下、撮像監視領域という）が、平面視で、概ね図５の三角形ａｂｃ内の領域であるとし、この撮像監視領域ａｂｃ内に前記他車両２２，２４および人Ｐ１，Ｐ２が存在している。

補足すると、撮像監視領域ａｂｃは、より詳しくは赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の空間的領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）のうち、自車両１０からの距離（実空間座標系のＺ方向の距離）が所定値以下の領域である。該撮像監視領域ａｂｃの線分ａｂ，ａｃがなす角度が赤外線カメラ２Ｒ，２Ｌの視野角に相当している。本実施形態で、対象物として抽出され得る物体は、この撮像監視領域ａｂｃ内に存在する物体である。

図５に示すような状況において、前記右画像および左画像のうちの例えば右画像（基準画像）は、それを概略的に図示すると、図６に示すように他車両２２，２４および人Ｐ１，Ｐ２が含まれる画像となる。なお、図６に示す画像は、説明の便宜上、各他車両２２，２４や人Ｐ１，Ｐ２などを、明確に輪郭が現れるような画像として表現している。ただし、該画像は、グレースケール画像であるので、各他車両２２，２４や人Ｐ１，Ｐ２などの輪郭が必ずしも明確にはならない。例えば、他車両、人などの局所的な部分だけが鮮明な画像となるような場合もある。

以上の説明を前提として、まず、ＳＴＥＰ１７〜２０の処理のうちのＳＴＥＰ１７の処理（一時的な停止車両が存在するか否かの判断処理）を説明する。図８はこの処理を示すフローチャートである。なお、ＳＴＥＰ１７の処理は、本発明の停止車両分別検出装置の停止車両検出手段、温度状態検出手段、判定手段を構成する処理である。

図８を参照して、ＳＴＥＰ１７の処理では、まず、抽出された対象物のうちに他車両が存在するか否か（他車両に該当する対象物が存在するか否か）が判断される（ＳＴＥＰ１０１）。この判断処理では、抽出された対象物の中から、他車両（もしくはその局所部分）を検出する処理が実行され、その検出処理により他車両が検出されない場合に、他車両が存在しないと判断される。

この場合、他車両を検出する処理は、公知の手法を使用すればよい。本実施形態では、例えば前記特許文献１の段落００３８〜００５３に記載されている手法が用いられる。その手法は、本明細書での詳細な説明は省略するが、その概略は次の通りである。

すなわち、前記ＳＴＥＰ８で２値化画像から抽出された対象物の中に、対称な位置関係を有する対象物の組（以下、対称性対象物対という）が探索される。この対称性対象物対は、自車両１０からの距離（実空間座標系でのＺ方向位置）と、高さ（実空間座標系でのＹ方向位置）とが互いにほぼ同一で、且つ、それらの間隔（実空間座標系でのＸ方向の間隔）が一般的な他車両の車幅相当の所定範囲内になるような対象物の組であり、他車両の左右のヘッドライトの組、もしくは左右のテールライトの組に相当するものである。

この場合、前記図５に示す状況において、自車両１０の斜め左前方の他車両２２が、例えば原動機（通常はエンジン）の運転を行なったまま、一時的に停止している車両であるとした場合、この他車両２２に関して、前記２値化画像内で、例えば図７に示す対象物ＯＢＪ１〜ＯＢＪ５が抽出される。ＯＢＪ１，２は、他車両２２のテールランプに対応し、ＯＢＪ３は他車両２２の排気管付近に相当し、ＯＢＪ４，５は、他車両２２の左右の後輪のタイヤに相当する。

このとき、これらの対象物ＯＢＪ１〜ＯＢＪ５のうち、他車両２２の左右のテールライトの組に対応して、ＯＢＪ１，２が対称性対象物対として抽出される。

そして、対称性対象物対が抽出されたときには、前記右画像（基準画像）内で、該対称性対象物対の上方（他車両のウィンドウシールドに相当する箇所）に所定の探索領域ＭＡＳＫ１（図７を参照）を設定し、この探索領域ＭＡＳＫ１の部分の距離（実空間座標系での自車両１０からの距離）と平均輝度値とを算出し、これらの算出値を基に、対称性対象物対の上側に他車両のウィンドウシールドが存在するか否かを判断する。具体的には、探索領域ＭＡＳＫ１の部分の距離が対称性対象物対の自車両１０からの距離とほぼ同じで、且つ、平均輝度値が所定値よりも小さいときには、該基準画像上の探索領域ＭＡＳＫ１の箇所に他車両のウィンドウシールドが存在すると判断する。このように対称性対象物対の上側にウィンドウシールドの存在が確認された場合には、該対称性対象物対の箇所に他車両が存在すると判断され、これにより該他車両の存在が検出される。

なお、対称性対象物対が抽出されなかった場合には、さらに各対象物の真上に探索領域ＭＡＳＫ２（図示省略）を設定する。そして、この探索領域ＭＡＳＫ２に対応する自車両１０からの距離と、該探索領域ＭＡＳＫ２の左寄りの部分および右寄り部分の平均輝度値とを基に、ウィンドウシールドの存在の有無を判断し、ウィンドウシールドの存在が確認された場合には、該対象物を含む他車両が存在すると判断される。この場合、ウィンドウシールドの存在の確認と同時に、該ウィンドウシールドが、探索領域ＭＡＳＫ２の左寄り部分および右寄りの部分のいずれに存在するかの判断も行なわれる。また、ウィンドウシールドの存在が確認されなかった場合には、前記ＳＴＥＰ７で抽出された対象物のうちに他車両が存在しないと判断される。

以上が、ＳＴＥＰ１０１の処理の概略である。このＳＴＥＰ１０１の処理により、例えば前記図５に示す状況では、他車両２２，２４の存在が検出される。なお、他車両の検出は、上記の手法に限らず、他の公知の手法（例えばテンプレートを使用したパターンマッチングの手法など）を用いてもよい。また、可視光カメラやレーダなどを併用して他車両を検出するようにしてもよい。

画像処理ユニット１は、ＳＴＥＰ１０１で他車両が検出されなかった場合（ＳＴＥＰ１０１の判断結果がＮＯである場合）には、一時的な停止車両は存在しないと判断し（ＳＴＥＰ１０５）、ＳＴＥＰ１７の処理を終了する。また、少なくとも１つの他車両が検出された場合（ＳＴＥＰ１０１の判断結果がＹＥＳである場合）には、次に、その検出された他車両が停止しているか否かを判断する（ＳＴＥＰ１０２）。

この判断は検出された全ての他車両に対して次のように行なわれる。すなわち、各他車両に含まれる少なくとも１つの対象物（例えば前記図７のＯＢＪ１もしくはＯＢＪ２）の自車両１０に対する相対位置（対象物の実空間位置）、あるいは、自車両１０からの前後方向の距離（実空間座標系での対象物のＺ方向の位置）の時系列データを基に、該他車両の自車両１０に対する相対速度を算出する。そして、その相対速度が、自車両１０に近づく向きの速度で、且つ、その大きさ（絶対値）が、前記車速センサ４により得られる自車両１０の車速の検出値とほぼ同一であるとき（該検出値との差の絶対値が０近傍の所定値以下であるとき）に、該他車両が停止していると判断する。そして、これ以外の場合には、該他車両は停止していないと判断する。なお、他車両の相対速度は、レーダなどを使用して測定するようにしてもよい。

上記ＳＴＥＰ１０１、１０２の処理は、本発明の停止車両分別検出装置の停止車両検出手段に相当するものであり、これらのＳＴＥＰ１０１、１０２の処理により停止中の他車両が検出されることとなる。

画像処理ユニット１は、ＳＴＥＰ１０２で、他車両が停止していない（ＳＴＥＰ１０１で検出された全ての他車両が停止していない）と判断した場合（ＳＴＥＰ１０２の判断結果がＮＯとなる場合）には、前記ＳＴＥＰ１０５に進んで、一時的な停止車両は存在しないと判断し、ＳＴＥＰ１７の処理を終了する。また、検出された他車両のうちの少なくとも１つの他車両が停止していると判断した場合（ＳＴＥＰ１０２の判断結果がＮＯとなる場合）には、次に、該他車両が一時的な停止車両であるか否かを判断する（ＳＴＥＰ１０３）。

この処理は、次のように行なわれる。すなわち、前記図７を参照して、画像処理ユニット１は、停止していると判断された各他車両に関し、前記基準画像（グレースケール画像）上で、該他車両の所定の部位の画像が含まれると推測される複数（本実施形態では４個）の領域ＡＲＥＡ１〜ＡＲＥＡ４を輝度判定領域として設定する。ここで、輝度判定領域ＡＲＥＡ１，２はそれぞれ、その中に他車両の排気管部分の画像、他車両の原動機搭載部の画像が含まれるように設定され、輝度判定領域ＡＲＥＡ３，４は、他車両の左右のタイヤがそれぞれが含まれるように設定される。なお、これらの輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４は、例えば前記ＳＴＥＰ１０１で抽出した対称性対象物対ＯＢＪ１，２の基準画像上での位置や、該対称性対象物対ＯＢＪ１，２の自車両１０からの距離および高さを基に、他車両の排気管部分などの位置を概略的に推定し、その推定位置付近に設定すればよい。また、これらの輝度判定領域ＡＲＥＡ１〜４のサイズは、自車両１０から他車両までの距離が長いほど、小さくなるように該距離に応じて設定される。

そして、画像処理ユニット１は、基準画像（グレースケール画像）上で、上記各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４における輝度平均値を求める。ここで、基準画像は、遠赤外画像であるので、各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４における輝度平均値は、各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４に存在する対象物の温度（平均温度）に応じたものとなり、該温度が高いほど、輝度平均値も高くなるまた、他車両が一時的な停止車両である場合、該他車両の原動機（通常はエンジン）の運転に伴う熱、あるいは、該他車両の停止前の走行時のタイヤと路面との間の摩擦熱によって、他車両の排気管部分、原動機搭載部分、タイヤ部分の温度が他車両の他の部位の温度に比べて高温になっている。従って、これらの高温部分が、前記基準画像上の、前記各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４に存在する場合、各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４の輝度平均値は、比較的高い値となる。

そこで、本実施形態では、各輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４の輝度平均値を、それぞれに対応する他車両の部位の温度状態を示すものとして求める。そして、この求めた輝度平均値のそれぞれを所定の輝度閾値と比較し、輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４のいずれかの輝度平均値が輝度閾値よりも高い場合に、当該他車両が、一時的な停止車両であると判断する。また、いずれの輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４についても、その輝度平均値が輝度閾値以下である場合には、当該他車両は、一時的な停止車両でないと判断する。

具体的には、前記図５の例において、自車両１０の斜め左前方の他車両２２が、一時的な停止車両である場合には、前記輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４のうちのＡＲＥＡ１、３、４のいずれかの輝度平均値が輝度閾値を超えるものとなる。このため、該他車両２２が、一時的な停止車両であると判断される。なお、図５の例では、他車両２２は、背面視の車両となるため、原動機搭載部に対応する輝度判定領域ＡＲＥＡ２の輝度閾値は、一般には、輝度閾値よりも低くなる。

一方、該他車両２２が一時的な停止車両でない場合、すなわち、原動機の運転を停止した状態で、十分に長い時間、定常的に駐車している車両である場合には、該他車両２２の全体の温度が比較的低いので、いずれの輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４においても、その輝度平均値は、輝度閾値よりも低くなる。このため、該他車両２２は、一時的な停止車両でないと判断される。

補足すると、図５の状況において、仮に、対向斜線２３側の他車両２４が一時的な停止車両であるとした場合には、この他車両２４に関する前記輝度判定領域ＡＲＥＡ１〜４のうちの、輝度判定領域ＡＲＥＡ２〜４のいずれかの輝度平均値が輝度閾値よりも高くなり、それにより、該他車両２４が一時的な停止車両であると判断することができる。

また、ＳＴＥＰ１０３で、上記のように輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４の輝度平均値を求める処理が、本発明の停止車両分別検出装置の温度状態検出手段に相当する。この場合、輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４が停止車両画像に相当する。そして、ＳＴＥＰ１０３で、輝度判定領域ＡＲＥＡ１〜ＡＲＥＡ４の輝度平均値を基に、停止している他車両が一時的な停止車両であるか否かを判定する処理が、本発明の停止車両分別検出装置の判定手段に相当する。

なお、本実施形態では、停止している他車両が一時的な停止車両であるか否かを判断するために、輝度判定領域ＡＲＥＡ１〜４の輝度平均値を用いたが、該輝度平均値の代わりに、例えば輝度判定領域ＡＲＥＡ１〜４における輝度の最大値を使用してもよい。また、輝度判定領域ＡＲＥＡ１〜４のうちの一部、例えば、ＡＲＥＡ１，２だけを使用したり、あるいは、ＡＲＥＡ３，４だけを使用してもよい。また、輝度閾値は、各輝度判定領域ＡＲＥＡ１〜４毎に各別に設定してもよく、さらには、気温などに応じて変化させるようにしてもよい。

画像処理ユニット１は、ＳＴＥＰ１０３で、上記の如く停止している他車両（ＳＴＥＰ１０３で停止していると判断した他車両のうちの少なくとも１つの他車両）が一時的な停止車両であると判断した場合（ＳＴＥＰ１０３の判断結果がＹＥＳとなる場合）には、ＳＴＥＰ１０４に進んで、一時的な停止車両が存在すると判断し、ＳＴＥＰ１７の処理を終了する。また、ＳＴＥＰ１０３で停止していると判断した全ての他車両が一時的な停止車両でないと判断した場合（ＳＴＥＰ１０３の判断結果がＮＯである場合）には、前記ＳＴＥＰ１０５に進んで、一時的な停止車両は存在しないと判断し、ＳＴＥＰ１７の処理を終了する。

以上が、ＳＴＥＰ１７で一時的な停止車両が存在するか否かを判断する処理の詳細である。

次に、前記ＳＴＥＰ１８，１９の処理の詳細を説明する。画像処理ユニット１は、前記したように、ＳＴＥＰ１７の判断結果に応じて、ＳＴＥＰ１８，１９において、警報領域の幅と、対象物抽出画像領域とを設定する処理を実行する。

ここで、これらの警報領域および対象物抽出画像領域ついて説明しておく。まず、対象物抽出画像領域は、前記したように次回以降の前記ＳＴＥＰ４の処理で２値化を行なう基準画像上の領域であるので、前記ＳＴＥＰ７における対象物の抽出は、この対象物抽出画像領域内で行なわれる。換言すれば、該対象物抽出画像領域は、警報の対象となり得る対象物を探索する基準画像内の領域である。そして、本実施形態では、設定される対象物抽出画像領域は、図６に示す基準画像（右画像）のうちの破線枠で示す長方形の領域Ｓ１（以下、標準画像領域Ｓ１という）と、基準画像の全体の領域Ｓ２（以下、拡大画像領域Ｓ２）との２種類がある。本実施形態では、標準画像領域Ｓ１は、その中心点を拡大画像領域Ｓ２の中心点と同一とし、該拡大画像領域Ｓ２よりも縦および横方向の幅が所定割合だけ小さい領域である。なお、標準画像領域Ｓ１は、横方向の幅だけが、拡大画像領域Ｓ２よりも小さくなる領域に設定してもよい。

補足すると、対象物抽出画像領域を変更すると、自車両１０の前方の撮像監視領域内で警報の対象となり得る対象物を検出する空間的領域（以下、対象物検出空間領域という）が変更されることとなる。具体的には、図６を参照して、対象物抽出画像領域として前記拡大画像領域Ｓ２を設定した場合には、それに対応する対象物検出空間領域は、平面視で、図５に示す撮像監視領域ａｂｃに一致する。また、対象物抽出画像領域として前記標準画像領域Ｓ１を設定した場合には、それに対応する対象物検出空間領域は、平面視で、図５に示す撮像監視領域ａｂｃ内の三角形領域ａｄｅに縮小される。従って、対象物抽出画像領域を変更することにより、対象物検出空間領域も変更されることとなる。

また、前記警報領域は、前記警報発生要件のうちの１つの要件に係わる、自車両１０の前方の空間的領域である。この警報領域は、その領域内に物体が存在する場合に、該物体と自車両１０とが衝突する可能性が高いと判断する領域である。本実施形態で設定される警報領域は、平面視で、図５の五角形ａｆｇｈｉの領域である標準警報領域ａｆｇｈｉと、この標準警報領域ａｆｇｈｉを包含する同図の五角形ａｊｋｍｎの領域である拡大警報領域ａｊｋｍｎとの２種類がある。ここで、前記対象物検出空間領域ａｂｃまたはａｄｅのうち、自車両１０からの前後方向（実空間座標系のＺ方向）の距離が、該自車両１０に対する対象物の相対速度Ｖｓ（自車両１０の前後方向の相対速度）に応じた所定値Ｖｓ・Ｔ以下（Ｔ：時間の次元の正の定数）となる領域（図５の三角形ａｏｐまたはａｑｒの領域）を衝突判定領域という。この衝突判定領域ａｏｐ，ａｑｒは、換言すれば、その平面視での形状が、それぞれ対象物検出空間領域ａｂｃ，ａｄｅと相似形状で、自車両１０の前後方向における長さが対象物毎に、該対象物の自車両１０に対する相対速度Ｖｓに比例した値Ｖｓ・Ｔに設定される領域である。なお、図５では、衝突判定領域ａｏｐ，ａｑｒは、例えば人Ｐ１もしくはＰ２に対応する領域である。

本実施形態では、対象物が、この衝突判定領域ａｏｐまたはａｑｒに存在することを１つの警報発生要件とする。そして、前記標準警報領域ａｆｇｈｉおよび拡大警報領域ａｊｋｍｎは、それぞれ、この衝突判定領域ａｑｒ、ａｏｐ内に設定される領域である。以降、衝突判定領域ａｑｒを標準衝突判定領域ａｑｒ、衝突判定領域ａｏｐを拡大衝突判定領域という。

さらに詳細には、標準警報領域ａｆｇｈｉは、標準衝突判定領域ａｑｒの境界線ａｑ，ａｒ，ｑｒと、自車両１０の車幅中心線Ｌに平行で、且つ該車幅中心線Ｌの左右に該車幅中心線Ｌと所定間隔Ｗａ／２を有する２つの直線（線分ｆｇ，ｈｉをそれぞれ含む直線）とで囲まれた領域である。この場合、標準警報領域ａｆｇｈｉの幅Ｗａは、自車両の車幅よりも若干大きい幅に設定されている。なお、Ｗａは、標準衝突判定領域ａｑｒの底辺（線分ｑｒ）の長さよりも小さい。

また、拡大警報領域ａｊｋｍｎは、拡大衝突判定領域ａｏｐの境界線ａｏ，ａｐ，ｏｐと、自車両１０の車幅中心線Ｌに平行で、且つ、該車幅中心線Ｌの左右に該車幅中心線Ｌと所定間隔Ｗｂ／２を有する２つの直線（線分ｊｋ，ｍｎをそれぞれ含む直線）とで囲まれた領域である。この場合、拡大警報領域ａｊｋｍｎの幅Ｗｂは、標準警報領域ａｆｇｈｉの幅Ｗａよりも大きい幅に設定されている。なお、Ｗｂは、拡大衝突判定領域ａｏｐの底辺（線分ｏｐ）の長さよりも小さい。

前記ＳＴＥＰ１８は、ＳＴＥＰ１７において、一時的な停止車両が存在すると判断された場合の処理であり、ＳＴＥＰ１９は、ＳＴＥＰ１７において、一時的な停止車両が存在しないと判断された場合の処理である。

そして、画像処理ユニット１は、ＳＴＥＰ１８では、警報領域の幅として、前記拡大警報領域ａｊｋｍｎの幅Ｗｂを設定すると共に、対象物抽出画像領域として、前記拡大画像領域Ｓ２を設定する（対象物抽出空間領域として領域ａｂｃを設定する）。また、ＳＴＥＰ１９では、警報領域の幅として、前記標準警報領域ａｆｇｈｉの幅Ｗａを設定すると共に、対象物抽出画像領域として、前記標準画像領域Ｓ１を設定する（対象物抽出空間領域として領域ａｄｅを設定する）。これにより、警報領域の幅と、対象物抽出空間領域とが、自車両１０の前方に一時的な停止車両が存在するか否かで可変的に変更されることとなる。この場合、警報領域と対象物抽出空間領域とは、いずれも、一時的な停止車両が存在しない場合よりも、存在する場合の方が、自車両１０の車幅方向に拡大されることとなる。

補足すると、ＳＴＥＰ１８，１９の処理は、本発明の周辺監視装置の検出領域設定手段および警報発生要件設定手段に相当するものである。

次に、ＳＴＥＰ２０の警報判定処理を説明する。図９は、この警報判定処理を示すフローチャートである。

本実施形態では、抽出された各対象物に対して、以下に説明するように該対象物が警報発生要件を満たすか否かが判断される。まず、ＳＴＥＰ１２０において、対象物が前記衝突判定領域に存在するか否かが判断される。具体的には、各対象物について該対象物の実空間位置（Ｚ方向の位置）の時系列データを基に、該対象物の自車両１０に対する相対速度Ｖｓが算出される。そして、該対象物の現在の実空間位置のＺ方向位置（Ｚ方向における自車両１０からの距離）が、この相対速度Ｖｓに定数Ｔを乗じた値以下であるか否かによって、該対象物が、前記したように定められる衝突判定領域に存在するか否かが判断される。なお、対象物の相対速度Ｖｓが自車両１０から遠ざかる向きの速度である場合には、該対象物は衝突判定領域に存在しないと判断される。また、対象物の高さ位置（実空間座標系のＹ方向位置）が所定の高さ（自車両１０の車高よりも高い高さ）を超えている場合にも、対象物は衝突判定領域に存在しないと判断される。

補足すると、この場合の衝突判定領域は、現在の対象物抽出画像領域が前記標準画像領域Ｓ１に設定されている場合には、前記標準衝突判定領域ａｑｒであり、現在の対象物抽出画像領域が前記拡大画像領域Ｓ２に設定されている場合には、前記拡大衝突判定領域ａｏｐである。従って、図５の状況では、対象物抽出画像領域が前記標準画像領域Ｓ１に設定されている場合には、人Ｐ１，Ｐ２のうちの人Ｐ１は、衝突判定領域に存在すると判断されるが、人Ｐ２は衝突判定領域に存在しないと判断される。一方、対象物抽出画像領域が前記拡大画像領域Ｓ２に設定されている場合には、人Ｐ１，Ｐ２の両者が衝突判定領域に存在すると判断される。なお、ここでの説明では、人Ｐ１，Ｐ２に関する相対速度Ｖｓはほぼ同じであるとしている。

そして、対象物が衝突判定領域に存在しない場合（ＳＴＥＰ１２０の判断結果がＮＯとなる場合）には、ＳＴＥＰ１２６に進んで、対象物は、警報発生要件を満たさないと判断され、ＳＴＥＰ２０の警報判定処理が終了する。

また、ＳＴＥＰ１２０で対象物が衝突判定領域に存在する場合（ＳＴＥＰ１２０の判断結果がＹＥＳとなる場合）には、次に、対象物が前記警報領域に存在するか否かが判断される（ＳＴＥＰ１２１）。具体的には、該対象物の実空間座標系でのＸ方向位置（自車両１０の車幅方向の位置）が、前記ＳＴＥＰ１８または１９で設定された幅ＷａまたはＷｂにより定まる警報領域の左右の境界線の間の範囲に存するか否かによって、対象物が警報領域に存在するか否かが判断される。

この場合、例えば図５に示す状況において、前記ＳＴＥＰ１７で他車両２２が一時的な停止車両であると判断された場合には、警報領域は、拡大警報領域ａｊｋｍｎであるので、この警報領域の左右の境界線は、線分ｊｋを含む直線および線分ｍｎを含む直線である。また、前記ＳＴＥＰ１７で他車両２２が一時的な停止車両でないと判断された場合には、警報領域は、標準警報領域ａｆｇｈｉであるので、この警報領域の左右の境界線は、線分ｆｇを含む直線および線分ｈｉを含む直線である。従って、他車両２２が一時的な停止車両である場合において、対象物抽出画像領域（画像処理ユニット１の現在の演算処理周期でのＳＴＥＰ４の処理で２値化を行なう画像領域）が拡大画像領域Ｓ２に設定されていた場合には、人Ｐ１，Ｐ２の両者が警報領域に存在すると判断される。一方、他車両２２が一時的な停止車両でなく、現在の演算処理周期でのＳＴＥＰ４の処理の際に、対象物抽出画像領域が標準画像領域Ｓ２に設定されていた場合には、人Ｐ１，Ｐ２の両者が警報領域に存在しないと判断される。

ＳＴＥＰ１２１で対象物が警報領域に存在すると判断された場合（ＳＴＥＰ１２１の判断結果がＹＥＳになる場合）には、次に、ＳＴＥＰ１２２に進み、画像処理ユニット１は、該対象物が人であるか否か（より正確には人である可能性が高いか否か）の判定を行なう。対象物が人であるか否かの判断は、公知の手法を使用すればよく、グレースケール画像上での対象物の形状や大きさ、輝度分布等の特徴から、該対象物の特徴を判断すればよい。

このＳＴＥＰ１２２の処理で、対象物が人である可能性が高いと判断した場合には、前記ＳＴＥＰ１２３に進み、該対象物が人工構造物であるか否かの判定が行なわれる。この場合、前記ＳＴＥＰ１７の処理で、他車両であると判断された対象物は、人工構造物であると判断される。なお、他車両以外にも、電柱などの対象物を人工構造物として判定するようにしてもよい。

そして、ＳＴＥＰ１２２で対象物が人であると判断され（人である可能性が高いと判断され）、且つ、ＳＴＥＰ１２３で該対象物が人工構造物でないと判断された場合には、該対象物が警報発生要件を満たすと判断される（ＳＴＥＰ１２４）。また、ＳＴＥＰ１２２で対象物が人でないと判断された場合、あるいは、ＳＴＥＰ１２３で対象物が人工構造物であると判断された場合には、前記ＳＴＥＰ１２６に進んで、対象物は警報発生要件を満たさないと判断する。

一方、前記ＳＴＥＰ１２１で、対象物が警報領域に存在しないと判断された場合には、画像処理ユニット１は、進入衝突判定を行なう（ＳＴＥＰ１２５）。この進入衝突判定では、前記ＳＴＥＰ１６で求めた対象物の移動ベクトルに基づいて、自車両１０との衝突の可能性が判定される。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、自車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、自車両１０の車幅中心線のＸ方向位置を中心とする所定範囲（自車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入衝突要件という）として、対象物が自車両１０に衝突する可能性が高いか否かが判定される。すなわち、前記進入衝突要件が満たされる場合には、対象物が警報領域に進入し、自車両１０に衝突する可能性が高いと判断され、そうでない場合には、自車両１０に衝突する可能性がないか、もしくは低いと判断される。

そして、ＳＴＥＰ１２５の進入衝突判定で、対象物が自車両１０に衝突する可能性が高いと判断された場合（ＳＴＥＰ１２５の判断結果がＹＥＳとなる場合）には、前記ＳＴＥＰ１２４に進んで、対象物が警報発生要件を満たすと判断される。また、ＳＴＥＰ１２５の進入衝突判定で、対象物が自車両１０に衝突する可能性が高くないと判断された場合（ＳＴＥＰ１２５の判断結果がＮＯとなる場合）には、前記ＳＴＥＰ１２６に進んで、対象物が警報発生要件を満たさないと判断される。

以上が、ＳＴＥＰ２０の警報判定処理の詳細である。この警報判定処理では、
（１）対象物が警報領域に存在し、且つ該対象物の種類が人である。

（２）対象物が衝突判定領域内の警報領域以外の領域に存在し、且つ前記進入衝突要件を満たす。
ということを警報発生要件として、この警報発生要件を満たすか否かが判断されることとなる。

この場合、図４の状況では、自車両１０の左斜め前方の他車両２２が一時的な停止車両でない場合には、人Ｐ１，Ｐ２は、警報領域（標準警報領域ａｆｇｈｉ）に存在しないので、人Ｐ１，Ｐ２が、前記進入衝突要件を満たさない限り、それらの人Ｐ１，Ｐ２は、警報発生要件を満たさないと判断される。一方、該他車両２２が一時的な停止車両である場合には、少なくとも該車両２２が一時的な停止車両であると最初に判断された演算処理周期の次の演算処理周期から、人Ｐ１，Ｐ２は、警報領域（拡大警報領域ａｊｋｍｎ）に存在することとなるので、それらの人Ｐ１，Ｐ２が警報発生要件を満たすと判断される。

そして、その結果、前記ＳＴＥＰ２１の警報出力判定処理で、警報を行なうべきと判断されたときには、人Ｐ１，Ｐ２に関する警報が運転者に発せられることとなる。

補足すると、ＳＴＥＰ２０〜ＳＴＥＰ２２の処理は、本発明の周辺監視装置における警報発生手段に相当するものである。

以上のように、本実施形態の周辺監視装置によれば、一時的な停止車両が検出された場合には、対象物抽出画像領域（ひいては対象物検出空間領域）と警報領域とが、当該一時的な停止車両が検出されない場合よりも、自車両１０の車幅方向に拡大される。このため、今まで、警報の対象とされなかった、他車両の周辺などに存在する人などの対象物が警報の対象とされる。このため、自車両１０の運転者に、より広い範囲にわたって、人などの存在に対する注意を喚起することができる。

例えば図５の状況において、他車両２２が一時的な停止車両である場合には、この他車両２２の前方を人Ｐ１が横断したり、あるいは、人Ｐ１，Ｐ２が他車両２２に乗り込むために自車両１０の走行車線２１側に飛び出して来る場合などが想定される。また、他車両２２の乗員が運転を交代するために、助手席側の乗員が他車両２２から降車し、運転席側に飛び出してくる場合なども想定される。このような場合に、今まで、自車両１０の運転者が注意していなかった人Ｐ１，Ｐ２などに対する注意を運転者に喚起することができる。

また、一時的な停止車両が存在しない場合には、対象物抽出画像領域（ひいては対象物検出空間領域）と警報領域とが、当該一時的な停止車両が存在する場合よりも、自車両１０の車幅方向に縮小されるので、必要以上に頻繁に警報が発生されるような事態を防止することができる。

なお、以上説明した実施形態では、一時的な停止車両が存在するか否かに応じて、対象物抽出画像領域と警報領域の幅との両者を可変的に設定するようにしたが、いずれか一方だけを可変的に設定するようにしてもよい。

また、前記実施形態では、一時的な停止車両が検出された場合に、その停止車両の存在を自車両１０の運転者に警報するようにしてもよい。このようにすると、その一時的な停止車両の乗員が急に降車するような状況に対する運転者の注意を喚起することができる。あるいは、例えば一時的な停止車両が検出された場合に、その周辺に人が所定時間前から存在することを警報発生要件として、該停止車両と人とに関する警報を運転者に発するようにしてもよい。このようにすると、特に、人が一時的な停止車両に乗車するような状況に対する運転者の注意を喚起することができる。このように、一時的な停止車両が検出された場合の警報発生要件は、該停止車両と人との位置関係や時間的関係を考慮して設定してもよい。

また、前記実施形態では、ＳＴＥＰ１８，１９で対象物抽出画像領域が変更されたとき、その変更後の対象物抽出画像領域は、画像処理ユニット１の次回の演算処理周期で使用するようにしたが、ＳＴＥＰ１８，１９で対象物抽出画像領域が変更されたとき、同一の演算処理周期内で、ＳＴＥＰ４からの処理を再度行なうようにしてもよい。その場合、特に、対象物抽出画像領域が標準画像領域Ｓ１から拡大画像領域Ｓ２に変更されたときには、既に抽出された対象物については保持しておき、拡大画像領域Ｓ２のうちの標準画像領域Ｓ１以外の領域だけから対象物を新たに抽出するようにしてもよい。

また、前記実施形態では、対象物抽出画像領域の拡大画領域Ｓ２を、標準画像領域Ｓ１に対して左右両側に拡大するようにしたが、その左右のうち、例えば一時的な停止車両の存在側にのみ拡大したり、あるいは、該一時的な停止車両の存在側を、他方側よりもより大きく拡大するようにしてもよい。同様に、拡大警報領域ａｊｋｍｎを標準警報領域ａｆｊｇｈの左右両側のうち、一時的な停止車両の存在側にのみ拡大したり、あるいは、一時的な停止車両の存在側を他方側よりもより大きく拡大するようにしてもよい。

また、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、対象物との距離をレーダーなどにより検出するようにした場合には、１台の赤外線カメラ２Ｒ，２Ｌを自車両１０に搭載するようにしてもよい。

さらに、対象物の検出は、赤外線カメラ２Ｒ，２Ｌだけでなく、可視光カメラやレーダーを併用して行なうようにしてもよい。

本発明の車両の周辺監視装置（停止車両分別検出装置を含む）の一実施形態の全体構成を示す図。図１の周辺監視装置を備えた車両の斜視図。図１の周辺監視装置に備えた画像処理ユニットをの処理を示すフローチャート。図１の周辺監視装置に備えた画像処理ユニットをの処理を示すフローチャート。画像処理ユニットの処理を説明するための図。実施形態における撮像画像を例示的に示す図。実施形態における他車両の画像例を模式的に示す図。図４のフローチャートのＳＴＥＰ１７の処理を示すフローチャート。図４のフローチャートのＳＴＥＰ２０の処理を示すフローチャート。

符号の説明

１…画像処理ユニット（停止車両検出手段、温度状態検出手段、判定手段、対象物検出手段、警報発生手段、検出領域設定手段、警報発生要件設定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、ＳＴＥＰ１〜９…対象物検出手段、ＳＴＥＰ１０１，１０２…停止車両検出手段、ＳＴＥＰ１０３…温度状態検出手段および判定手段、ＳＴＥＰ１８，１９…検出領域設定手段および警報発生要件設定手段、ＳＴＥＰ２０〜２２…警報手段。

Claims

自車両の前方で停止している他車両が一時的な停止車両であるか否かを区別して検出する停止車両分別検出装置であって、
自車両の前部に搭載され、遠赤外域に感度を有する撮像装置と、
該撮像装置により撮像された自車両の前方の画像から停止中の他車両を検出する停止車両検出手段と、
該停止車両検出手段により停止中の他車両が検出されたとき、前記撮像装置により撮像された画像のうちの、該停止中の他車両に対応する部分画像である停止車両画像を基に、該停止中の他車両の温度状態を検出する温度状態検出手段と、
該温度状態検出手段により検出された温度状態に基づいて、前記停止中の他車両が一時的な停止車両であるか否かを区別して判定する判定手段とを備えることを特徴とする停止車両分別検出装置。
前記温度状態検出手段により検出する温度状態は、少なくとも前記停止中の他車両の所定の部位の温度状態を含むことを特徴とする請求項１記載の停止車両分別検出装置。
前記所定の部位は、前記他車両の排気管とタイヤと原動機搭載部とのうちの少なくともいずれかであることを特徴とする請求項２記載の停止車両分別検出装置。
前記温度状態検出手段は、前記停止車両画像の輝度状態を前記停止中の車両の温度状態を示すものとして検出することを特徴とする請求項１〜３のいずれか１項に記載の停止車両分別検出装置。
少なくとも自車両の前方の所定の検出領域に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物が少なくとも所定の警報発生要件を満たすことを必要要件として、自車両の運転者に警報を発する警報発生手段とを備えた車両の周辺監視装置において、
請求項１〜４のいずれか１項に記載の停止車両分別検出装置と、該停止車両分別検出装置の前記判定手段の判定結果に応じて前記検出領域を可変的に設定する検出領域設定手段とを備えたことを特徴とする車両の周辺監視装置。
前記検出領域設定手段は、前記停止車両分別検出装置の判定手段により前記検出された停止中の他車両が一時的な停止車両であると判定されたときには、前記停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記検出領域を少なくとも前記自車両の幅方向に拡大するように設定することを特徴とする請求項５記載の車両の周辺監視装置。
前記対象物検出手段は、前記停止車両分別検出装置の前記撮像装置により撮像された自車量の前方の画像を基に、前記対象物を検出する手段であり、前記検出領域設定手段は、前記撮像装置により撮像された画像のうちの、前記対象物を検出すべき画像領域を前記停止車両分別検出装置の判定手段の判定結果に応じて可変的に設定することにより、前記検出領域を可変的に設定することを特徴とする請求項５または６記載の車両の周辺監視装置。
少なくとも自車両の前方に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物が少なくとも所定の警報発生要件を満たすことを必要要件として、自車両の運転者に警報を発する警報発生手段とを備えた車両の周辺監視装置において、
請求項１〜４のいずれか１項に記載の停止車両分別検出装置と、該停止車両分別検出装置の前記判定手段の判定結果に応じて前記警報発生要件を可変的に設定する警報発生要件設定手段とを備えたことを特徴とする車両の周辺監視装置。
前記警報発生要件は、前記対象物検出手段により検出された警報対象物の、自車両の前方の所定の警報領域に対する位置関係に関する要件を含み、
前記警報発生要件設定手段は、前記警報領域を前記停止車両分別検出装置の判定手段の判定結果に応じて可変的に設定することにより前記警報発生要件を可変的に設定する手段であることを特徴とする請求項８記載の車両の周辺監視装置。
前記警報発生要件設定手段は、前記停止車両分別検出装置の判定手段により前記検出された停止中の他車両が一時的な停止車両であると判定されたときには、前記停止中の他車両が検出されないか、または、前記検出された停止中の他車両が一時的な停止車両でないと判定されたときよりも前記警報領域を少なくとも前記自車両の幅方向に拡大するように設定することを特徴とする請求項９記載の車両の周辺監視装置。