JP2013186848A - 車両周辺監視装置 - Google Patents

Abstract

【課題】他車両と歩行者を精度よく区別することを可能とする車両周辺監視装置を提供する。
【解決手段】頭部候補抽出部１０１が歩行者頭部候補として、ライト７０ａを抽出したとき、他車両判定部１０３が、抽出した前記歩行者頭部候補としてのライト７０ａの水平位置よりも下方且つ所定範囲内に、前記歩行者頭部候補としてのライト７０ａよりも面積が大きい水平方向の高輝度領域７６を検出したとき、前記歩行者頭部候補としてのライト７０ａは、他車両Ｃａｒの一部であると判定する。
【選択図】図６

Description

この発明は、車両に搭載された赤外線カメラにより取得した画像を用いて、前記車両の周辺を監視する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。

従来から、特許文献１に示すように、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する車両周辺監視装置が知られている。

特許文献１に係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知すると共に、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（特許文献１の［００１４］、［００１８］）。

しかしながら、左右一組の赤外線カメラを用いる車両周辺監視装置は、高価であり、高級車の一部に採用されているのが実状である。

コストを低減するために、特許文献２に係る車両周辺監視装置では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮像する。前回の画像の大きさ（サイズ）に比較して今回の撮像画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、当該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、単一の赤外線カメラであっても所定時間間隔での同一の対象物の画像部分の大きさの変化率から、車両への到達時間、いわゆるＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）を推定することで車両の周辺を監視することができる（特許文献２の［００１９］、［００２０］）。

特開２００３−２８４０５７号公報 特許第４５２１６４２号公報

特許文献２に係る技術では、異なる時点で撮像された同一の対象物が、人であるのか車両であるのかを判別する際に、予め対象物、この場合、人及び車両のそれぞれに応じた局所領域で前記対象物を分割し、異なる時点で撮像された同一対象物に係る画像を同一大きさの画像とした上で、前記局所領域の相関度が閾値以上であるときに、前記人又は前記車両であると判定している。

上記した特許文献１、２の従来技術に係る車両周辺監視装置を搭載した車両は、夜間走行時に、運転者の目では見えにくい監視対象物として赤外線カメラにより検出した前方の歩行者を映像により表示することができる。

夜間等に、人（歩行者）を判別する際に、人の頭部は、露出しているので表面温度が高く、且つ丸みをおびているので赤外線カメラで取得した画像から前記頭部の形状を判別することが容易である。

一方、車両周辺監視装置を構成する赤外線カメラを搭載した車両により、夜間に他の車両（対向車）をその前側から撮影した場合、車幅方向両端のヘッドライトが判別し易く、また、夜間に他の車両（前走車）をその後側から撮影した場合、車幅方向両端のテールライトが判別し易い。

しかしながら、他車両のヘッドライトやテールライトは、道路面からの高さが歩行者の頭部位置高さとそれほどには違わず、且つ赤外線画像（映像）上の形状が頭部形状と似ていることから、他車両のヘッドライトやテールライトを歩行者の頭部と区別することが困難であるという課題がある。また、後述するように、他車両の排気管等に関連する熱の前記他車両の車体への広がりを原因として、他車両のヘッドライトやテールライトが２灯存在すると判定することができない場合があることが分かった。

この発明は、このような課題を考慮してなされたものであって、他車両と歩行者を精度よく区別することを可能とする車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得した画像を用いて車両周辺の物体を検出すると共に、検出した物体の種別を判定する車両周辺監視装置において、前記画像から、歩行者頭部候補を抽出する頭部候補抽出部と、抽出した前記歩行者頭部候補よりも下方且つ所定範囲内に、前記歩行者頭部候補よりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域を検出する他車両候補検出部と、前記他車両候補検出部が、前記高輝度領域を検出したとき、前記歩行者頭部候補が、他車両の一部であると判定する他車両判定部と、を備えることを特徴とする。

この発明によれば、赤外線カメラにより取得した画像から抽出した歩行者頭部候補よりも下方且つ所定範囲内に、前記歩行者頭部候補よりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域を検出したとき、前記歩行者頭部候補は他車両の一部であると判定するようにしたので、他車両と歩行者を精度よく区別することができる。

この場合、前記他車両判定部は、前記他車両候補検出部が、前記歩行者頭部候補を、前記画像中の剛体（形状が変化しない物体）の中に検出したとき、前記剛体を前記他車両と判定してもよい。

また、前記他車両候補検出部は、前記画像から、さらに、エンジンの排気管候補又はタイヤ候補を検出し、前記他車両判定部は、前記他車両候補検出部が、前記排気管候補又は前記タイヤ候補よりも上方に前記高輝度領域を検出したとき、前記歩行者頭部候補及び前記排気管候補を含む物体、又は前記歩行者頭部候補及び前記タイヤ候補を含む物体を前記他車両と判定してもよい。

さらに、前記他車両候補検出部が、前記画像中、前記歩行者頭部候補の上方に、所定面積以上の他の高輝度領域又は所定面積以上の低輝度領域を検出したとき、前記他車両判定部は、前記他車両候補検出部による前記歩行者頭部候補よりも面積が大きい前記水平方向の前記高輝度領域の検出の有無に拘わらず、前記歩行者頭部候補を、前記他車両の一部であると判定してもよい。

この場合、車外温度が第１温度以上の場合には、前記歩行者頭部候補よりも面積が大きい低輝度領域が前記歩行者頭部候補よりも上部に存在するか否かを判定し、車外温度が前記第１温度より低い第２温度以下の場合には、前記歩行者頭部候補よりも面積が大きい高輝度領域が存在するか否かを判定するようにしても前記他車両を検出することができる。

この発明によれば、赤外線カメラにより取得した画像から抽出した歩行者頭部候補よりも下方且つ所定範囲内に、前記歩行者頭部候補の水平方向よりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域を検出したとき、前記歩行者頭部候補は他車両の一部であると判定するようにしたので、他車両と歩行者を精度よく区別することができる。

この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置が搭載された車両の模式図である。 車両周辺監視装置の画像処理ユニットによる動作を説明するフローチャートである。 歩行者候補の画像の模式図である。 歩行者候補と誤検出される可能性のある車両の画像の模式図である。 歩行者候補と誤検出される可能性のある車両の他の画像の模式図である。 他の実施例に係る歩行者候補と誤検出される可能性のある車両の画像の模式図である。 図８Ａは、現在画像、図８Ｂは、過去画像を示す模式図である。 現在画像及び過去画像の各部の座標を示す表図である。 変形例に係る車両周辺監視装置が搭載された車両の模式図である。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される単一（単眼）の赤外線カメラ１６（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物、監視対象物）を車両１２の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。

画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。

画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発するとともに、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を、黄色や赤色等の目立つ色枠で囲って強調表示する。このようにして、運転者の注意を喚起する。

ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート、車両形状テンプレート等｝を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。

この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する頭部候補抽出部１０１、他車両候補検出部１０２、対象物判定部として機能する他車両判定部１０３、接触可能性判定部１０６、及び注意喚起出力生成判定部１０８等の前記機能部を有する。

なお、画像処理ユニット１４は、基本的には、赤外線カメラ１６により撮像して取得した画像と、記憶部１４ｍに記憶されている人体形状、動物形状、車両形状、及び電柱を含む支柱等の人工構造物形状等の模式的なテンプレートと比較して物体を認識（区別）する物体認識（区別）処理（物体検知処理）プログラムを実行する。

図２に示すように、赤外線カメラ１６は、車両１２の前部バンパー部に、光軸が車軸と平行に配置されており、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。

また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

ここで、画像処理ユニット１４は、赤外線カメラ１６から出力される映像信号を、数十ｍｓ、例えば、１秒／３０フレーム［ｍｓ］のフレームクロック間隔・周期毎にデジタルデータに変換して記憶部１４ｍ（画像メモリ）に取り込み、記憶部１４ｍに取り込んだ車両前方の画像に対して各種演算処理を行う上述した機能を有する。

頭部候補抽出部１０１は、記憶部１４ｍに取り込んだ車両前方の前記画像から歩行者及び車両（他車両）等の監視対象物の画像部分を抽出し、抽出した画像部分に基づき、所定大きさの歩行者頭部候補等を抽出する。

他車両候補検出部１０２は、頭部候補抽出部１０１により抽出された前記歩行者頭部候補よりも下方且つ所定範囲内に、前記歩行者頭部候補よりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域（後述する。）等を検出する。

他車両判定部１０３は、前記他車両候補検出部１０２が、前記高輝度領域を検出したとき、前記歩行者頭部候補が、他車両の一部であると判定する。

注意喚起出力生成判定部１０８は、前記フレームクロック間隔・周期（所定時間間隔）をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒａｔｅを算出し、さらに前記変化率Ｒａｔｅを用いて監視対象物が車両１２に到達するまでの時間Ｔを推定するとともに、監視対象物の実空間における位置を算出し、監視対象物の実空間における移動ベクトルを算出する。

監視対象物が車両１２に到達するまでの時間（接触余裕時間ともいう。）ＴＴＣ、換言すれば、車両１２が監視対象物に接触するまでの時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）

なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。

また、監視対象物までの距離Ｚは、前記（１）式の両辺に速度Ｖｓを乗じた次の（２）式により求めることができる。なお、速度Ｖｓは、より正確には、監視対象物と車両１２間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）

さらに、注意喚起出力生成判定部１０８は、算出した前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。

基本的には以上のように構成され、且つ動作するこの実施形態に係る車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。

まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。

走行中（ステップＳ１：ＹＥＳ）である場合、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換したグレースケール画像を画像メモリ（記憶部１４ｍ）に格納するとともに、格納したグレースケール画像の領域の２値化処理を行う。

すなわち、グレースケール画像が得られたら、その画像信号の２値化処理、すなわち、人体輝度を判別する輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行い、撮影したフレーム毎にグレースケール画像に対応する２値化画像を得、記憶部１４ｍに格納する。

なお、２値化処理を行って、図４に示すように、歩行者Ｐａの頭部候補５０、腕を含む胴体候補５２、及び脚候補５４からなる歩行者候補ＰＣＸを検出（抽出）することができる。そして、２本の脚候補５４の下端を結んだ略水平線を道路面５６との接地点とすることができる。

人の頭部は、表面温度が高く丸みを帯びた形状をしているので、赤外線カメラ１６により取得したグレースケール画像の２値化画像から頭部候補５０を容易に抽出することができる。２値化画像も前記フレームに対応させてフレーム毎に記憶部１４ｍに格納される。

また、歩行者候補ＰＣＸは、腕を振ったり足を上げて歩行しているので、フレーム毎の画像を確認すれば、形状が変化することになり、フレーム毎の画像間で他車両等形状の変化しない剛体とは検出されない点に留意する。

ステップＳ３にて、道路面５６からの高さが、所定高さ範囲にある頭部候補５０を有する物体は、歩行者候補ＰＣＸと推定されてランレングスデータとされラベル付けされて記憶される（ラベリング処理がなされる）。この場合、処理対象画像としては、歩行者候補ＰＣＸの外接四角形を含むより大きな四角形状の画像が記憶される。そして、歩行者候補ＰＣＸの外接四角形を含むより大きな四角形状の画像は、必要に応じて、画像処理がし易いように、フレーム毎に同一大きさの画像に変換される。

一方、図５に示すように、ステップＳ２の２値化処理にて、他車両Ｃａｒの場合には、それぞれ点灯しているヘッドライト（対向車）又はテールライト（前走者）等の左右両端側にあるライト７０ａ、７０ｂと、他車両Ｃａｒの中央下部に存在するフロントグリル（対向車）又は排気管７２（前走車）と、左右のタイヤ７４ａ、７４ｂとは、それぞれ輝度が高いので、ハッチングした形状で示す領域とされる。

その他の車体部分は、環境温度によるが、環境温度が車体部分より低い場合には、白抜きで形状を示す領域とされ、背景は他車両Ｃａｒの形状で区分けされた領域になる。

なお、タイヤ７４ａ、７４ｂの下端を結ぶ水平線により道路面５６を検出することができる。

実際上、２値化処理にて、水平方向に並ぶ２つの高輝度点のライト７０ａ、７０ｂを検出したとき、ライト７０ａ、７０ｂの上方で、所定面積の水平方向に延びる四角形のマスク範囲｛例えば、横幅は、他車両Ｃａｒの横幅（概ねライト７０ａの左端からライト７０ｂの右端までの距離）より大きく、縦幅は、ライト７０ａ、７０ｂの縦幅より若干大きい範囲。）｝を上下に移動させ、前記マスク内のグレースケール画像から同値が連続する部分をルーフ（及びルーフエッジ）として検出することができる。ライト７０ａ、７０ｂの側方では、垂直方向に延びる四角形のマスク範囲（例えば、横幅は、ライト７０ａ、７０ｂの横幅程度で、縦幅は、ライト７０ａ、７０ｂの縦幅の１〜２倍程度）内のグレースケール画像から同値が連続する部分をピラー（ピラーエッジ）やフェンダー（フェンダーエッジ）として検出（抽出）することができる。

このようにして検出された他車両Ｃａｒも、ライト７０ａ、７０ｂは道路面７６からの高さが前記頭部５０と誤検知する可能性の有る高さ範囲にあるので、一旦は、歩行者候補ＰＣＹと推定されて、ランレングスデータとされラベル付けされて記憶される（ステップＳ３のラベリング処理がなされる）。

この場合、処理対象画像として、歩行者候補ＰＣＹの外接四角形を含むより大きな四角形状の画像が記憶される。そして、歩行者候補ＰＣＹの外接四角形を含むより大きな四角形状の画像は、必要に応じて、画像処理がし易いように、フレーム毎に同一大きさの画像に変換される。

ステップＳ２及びステップＳ３の処理が頭部候補抽出部１０１による処理である。

次いで、ステップＳ４において、対象物判定部としても機能する他車両判定部１０３により、歩行者候補ＰＣＸ（図４）及び歩行者候補ＰＣＹ（図５）に対する対象物判定処理、すなわち、歩行者候補ＰＣＸ（図４）及び歩行者候補ＰＣＹ（図５）が、実際に歩行している歩行者Ｐａであるのか他車両Ｃａｒであるのかの判定がなされる。

この場合、連続して取得される画像の解析から、実際には、他車両Ｃａｒである図５に示す歩行者候補ＰＣＹは、時間が経過しても映像（画像）上の形状が変化せずに大きさのみが変化する剛体であること、長い直線エッジの形状（ルーフやフェンダー）で構成されていること等から他車両Ｃａｒであると判定される。

実際には、他車両Ｃａｒの形状判定（剛体か否か）は、画像処理状、同一の大きさの外接四角形に変換して解析されるので、ライト７０ａ、７０ｂ間の間隔が変化しないこと、タイヤ７４ａ、７４ｂの間の間隔が変化しないこと等も含めて形状が変化しないので剛体であり他車両Ｃａｒであることが判定される。

また、実際には、他車両Ｃａｒではない、図４に示す歩行者候補ＰＣＸは、対象物判定部として機能する他車両判定部１０３により、その横幅（胴体５２の幅）、及び高さ（道路面５６から頭頂部までの高さ）が人の範囲であり、さらに剛体ではなく、形状が変化する物体であると検出されたとき、歩行者Ｐａであると判定される。

ところで、ステップＳ２の２値化画像への変換処理、及びステップＳ３のラベリング処理の結果、図６の歩行者候補ＰＣＹａに示すように、太い実線の枠で示す大面積の高輝度領域７６が検出されることがある。この高輝度領域７６は、排気管７２やエンジンのように熱を発する部位が存在して、車体の一部に熱が伝導された一点鎖線で囲んだ発熱部分７８と、発熱部位であるライト７０ｂ、排気管７２、及びタイヤ７４ｂの合成領域（２値画像の論理和領域）を示している。

この高輝度領域７６が発生している場合、ライト７０ａ、７０ｂを、対（ペア）として検出できにくくなるため、歩行者候補ＰＣＹａを他車両Ｃａｒと判定することができない。

そこで、この実施形態では、他車両判定部１０３によって処理されるステップＳ４の対象物判定処理において、頭部候補抽出部１０１が歩行者頭部候補として、ライト７０ａを抽出したとき、他車両判定部１０３が、抽出した前記歩行者頭部候補としてのライト７０ａの水平位置よりも下方且つ所定範囲（例えば、ライト７０ａ、７０の上端からタイヤ７４ａ、７４ｂの下端までの範囲）内に、前記歩行者頭部候補としてのライト７０ａよりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域７６を検出したとき、前記歩行者頭部候補としてのライト７０ａは、他車両Ｃａｒの一部であると判定する処理を組み込んでいる。

この判定処理を組み込むことにより、仮に発熱部分７８が存在しない図５に示した歩行者候補ＰＣＹの場合にも、歩行者頭部候補としてのライト７０ａ又はライト７０ｂの水平位置よりも下方且つ所定範囲内に、歩行者頭部候補としてのライト７０ａ又はライト７０ｂよりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域である排気管７２を検出したときには、歩行者候補ＰＣＹを他車両Ｃａｒと判定することができる。

このように、赤外線カメラ１６により取得した画像から抽出した歩行者頭部候補としてのライト７０ａよりも下方且つ所定範囲内に、歩行者頭部候補としてのライト７０ａよりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域７６（排気管７２のみの場合も含む。）を検出したとき、歩行者頭部候補としてのライト７０ａは他車両Ｃａｒの一部であると判定するようにしたので、他車両Ｃａｒと歩行者Ｐａとを精度よく区別することができる。

なお、図５例の歩行者候補ＰＣＹの場合、歩行者頭部候補としての２つのライト７０ａ、７０ｂを検出したとき、この２つのライト７０ａ、７０ｂと高輝度領域である排気管７２との関係に基づいて他車両Ｃａｒと判定してもよい。例えば、２つのライト７０ａ、７０ｂと高輝度領域である排気管７２との位置関係や、２つのライト７０ａ、７０ｂを含むように２つのライト７０ａ、７０ｂの下方にマスクを形成したとき、ライト７０ａ、７０ｂの面積に比較して所定面積以上の高輝度領域が検出された場合に他車両Ｃａｒと判定してもよい。

また、歩行者頭部候補としての２つのライト７０ａ、７０ｂを結ぶ水平方向の幅（横幅）Ｈｗａに対して、高輝度領域である排気管７２の水平方向の幅（横幅）Ｈｗｂが小さいことを条件にしてもよい。

さらに、図５に示すように、排気管７２の端部７３（排煙がでるパイプ端部）が特定乃至推定できたときには、その端部７３に対する高輝度領域の形状、例えば、端部７３から略同心円状に広がる等の基準パターン（排気管７２の基準パターン）との相関が疑われる形状に基づいて他車両Ｃａｒと判定してもよい。

この場合、他車両判定部１０３は、他車両候補検出部１０２が、歩行者頭部候補としてのライト７０ａ、７０ｂを、前記画像中の剛体（時間が変化しても形状を変化しない物体）と判定した歩行者候補ＰＣＹの外接四角形の中に検出したとき、前記剛体と判定した歩行者候補ＰＣＹを他車両Ｃａｒと判定してもよい。

また、上記したように、他車両候補検出部１０２が、図５に示す前記画像から、エンジンの排気管候補である排気管７２及びタイヤ候補であるタイヤ７４ａ、７４ｂ（道路面５６に接している横並びの物体）を検出したとき、他車両判定部１０３は、前記歩行者頭部候補としてのライト７０ａ、７０ｂを含む物体を前記他車両Ｃａｒと判定してもよい。

また、他車両候補検出部１０２が、図６に示す前記画像から、ライト７０ａを検出するとともに、エンジンの排気管候補である排気管７２又はタイヤ候補であるタイヤ７４ａ、７４ｂを検出した場合に、前記他車両判定部１０３は、他車両候補検出部１０２が、前記排気管７２又は前記タイヤ７４ａ、７４ｂよりも上方に排気管７２から車体に伝わった発熱部分７８を含むライト７０ａの面積（所定面積）よりも広い面積の高輝度領域７６を検出したとき、前記歩行者頭部候補としてのライト７０ａ及び高輝度領域７６を含む物体を他車両Ｃａｒと判定してもよい。

なお、他の実施例として、図７に示すように、他車両候補検出部１０２が、前記画像中、前記歩行者頭部候補としてのライト７０ａ及び／又はライト７０ｂの上方に、所定面積以上の他の高輝度領域９２ｈ（例えば、冬場の寒冷地で他車両Ｃａｒが暖房を付けているときのウインドシールド等）又は所定面積以上の低輝度領域９２ｌ（例えば、夏場の温暖地で他車両Ｃａｒが冷房をかけているときのウインドシールド等）を有する歩行者候補ＰＣＹｂを検出したとき、他車両判定部１０３は、他車両候補検出部１０２による前記水平方向の高輝度領域７６、発熱部分７８及び排気管７２の検出の有無に拘わらず、前記歩行者頭部候補としてのライト７０ａ及び／又はライト７０ｂは、他車両Ｃａｒの一部であると判定してもよい。

つまり、車外温度が、車内冷房が必要とされる予め設定された第１温度以上の場合には、ライト７０ａ及び／又はライト７０ｂの上部にライト７０ａ又はライト７０ｂの面積よりも広い面積（大きい面積）の低輝度領域９２ｌが存在するか否かを、例えばグレースケール画像から判定し、低輝度領域９２ｌが存在する場合に、他車両Ｃａｒと判定することができる。また、車外温度が、車内暖房が必要とされる前記第１温度より低い予め設定された第２温度以下の場合には、ライト７０ｂの上部にライト７０ｂの面積よりも広い面積（大きい面積）の高輝度領域９２ｈが存在するか否かを、例えばグレースケール画像から判定し、前記高輝度領域９２ｈが存在する場合に、他車両Ｃａｒと判定することができる。

この場合、車外温度は、例えば予め検出された頭部５０の温度（所定温度）に対応するグレースケール画像の輝度を基準として、検出することができる。車外温度は、図示しない車外温度センサ（外気温センサ）により検出してもよい。

次に、図８Ａ、図８Ｂ及び図９を参照して、頭部候補抽出部１０１、他車両候補検出部１０２及び他車両判定部１０３のさらに具体的な車両判定（他車両判定）について説明する。なお、図８Ａ、図８Ｂ例の他車両Ｃａｒａは、図５〜図７に示した他車両Ｃａｒとは異なる形状の車両を図示している。

図８Ａは現在画像Ｉｐｒを示し、図８Ｂは過去画像Ｉｐｓを示す。

図９は、現在画像Ｉｐｒ及び過去画像Ｉｐｓをそれぞれの長方形の枠（図８Ａ、図８Ｂ）で示した画像の左下端を原点とする横座標及び縦座標を示す表図９０を示している。

図８Ａ、図８Ｂの現在画像Ｉｐｒ及び過去画像Ｉｐｓにおいて、２値化された高輝度領域を示す部分には、ハッチングを付けている。すなわち、ハッチングを付けている部分は、処理熱源対象であり、歩行者頭部候補としてのライト７０ａａと、このライト７０ａａの下方に存在し、ライト７０ａａよりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域７６ａのみが人体輝度を判別する輝度閾値より明るい領域「１」（白）となっている。

他車両Ｃａｒａを、他車両Ｃａｒａの特徴であるルーフ８０の座標中心である座標Ａ｛（Ａ１＝ｘＡ１，ｙＡ１）、（Ａ０＝ｘＡ０，ｙＡ０）｝を含むマスク、左フェンダー（左ピラー）８２の座標中心である座標Ｌ｛（Ｌ１＝ｘＬ１，ｙＬ１）、（Ｌ０＝ｘＬ０，ｙＬ０）｝を含むマスク、及び、右フェンダーの座標中心であり高輝度領域７６ａを含む座標Ｒ｛（Ｒ１＝ｘＲ１，ｙＲ１）、（Ｒ０＝ｘＲ０，ｙＲ０）｝を含むマスクとして、検出する。

そして、図９に示すように、現在画像Ｉｐｒと過去画像Ｉｐｓの対比用の歩行者頭部候補としてのライト７０ａａの座標Ｔ｛（Ｔ１＝ｘＴ１，ｙＴ１）、（Ｔ０＝ｘＴ０，ｙＴ０）｝の他、座標Ｒ｛（Ｒ１＝ｘＲ１，ｙＲ１）、（Ｒ０＝ｘＲ０，ｙＲ０）｝、座標Ａ｛（Ａ１＝ｘＡ１，ｙＡ１）、（Ａ０＝ｘＡ０，ｙＡ０）｝、座標Ｌ｛（Ｌ１＝ｘＬ１，ｙＬ１）、（Ｌ０＝ｘＬ０，ｙＬ０）｝を算出する。

この場合、車両判定条件として、以下の条件１、条件２を備える。

但し、条件１、条件２を満足したとしても、歩行者頭部候補としてのライト７０ａａの道路面５６（路面交点）からの高さＨに関し、現在画像Ｉｐｒの高さＨ１が過去画像Ｉｐｓの高さＨ０よりも高い場合には、歩行者の可能性があるので、次に説明する条件１、２では、他車両Ｃａｒｒとは限定しない。

条件１：歩行者頭部候補としてのライト７０ａａを含み、他のマスク（座標Ｒ、Ａ、Ｌを含む３つのマスク）で形成される多角形、この場合四角形８４（８４ｐｒ、８４ｐｓ）に関し、過去の四角形８４ｐｓと現在の四角形８４ｐｒとが略相似形の場合、歩行者候補ＰＣＹｃを、他車両Ｃａｒａと判定し、接近車両（停止車両を含む）、前走追従者、又は前走車で離れていく車両（追い越し車両）のいずれかと認識する。

条件２：歩行者頭部候補としてのライト７０ａａと、他のマスクのいずれか１点、図８Ａ、図８Ｂでは、座標Ｒを含むマスクとの間の座標Ｔ（Ｔ１、Ｔ０）と座標Ｒ（Ｒ１、Ｒ０）との間に引かれる直線８６ｐｒ、８６ｐｓを形成し、現在の直線８６ｐｒの長さＬｐｒと、過去の直線８６ｐｓの長さＬｐｓとを比較し、Ｌｐｓ≧Ｌｐｒと、過去の直線８６ｐｓの長さＬｐｓが現在の直線８６ｐｒの長さＬｐｒより長い場合には、他車両Ｃａｒｒは、前走追従者又は前走車で離れていく車両（追い越し車両）と認識する。

このようにして、ステップＳ４の対象物判定処理を終了した後、ステップＳ４の判定結果に基づき、ステップＳ５にて、他車両Ｃａｒ、Ｃａｒｒと判定された歩行者候補ＰＣＹ（図５）、ＰＣＹａ（図６）、ＰＣＹｂ（図７）、ＰＣＹｃ（図８Ａ、図８Ｂ）は、歩行者Ｐａではないとみなして、以降の処理対象から除外する（ステップＳ５：ＮＯ）。

次に、歩行者とみなした図４に示す歩行者Ｐａ（ステップＳ５：ＹＥＳ）に対し、ステップＳ６にて、接触可能性判定部１０６により、歩行者Ｐａと自車両１２との接触可能性について判定する。

すなわち、上述したように、接触可能性は、歩行者Ｐａに対する、上述した（１）式の各接触余裕時間ＴＴＣと歩行者Ｐａの各移動ベクトルとを考慮し（距離Ｚも考慮してもよい。）、さらに、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、に基づき、車両１２が歩行者Ｐａに接触する可能性があるかどうかを判定し、接触する可能性があると判定した場合（ステップＳ６：ＹＥＳ）には、ステップＳ７において、注意喚起出力生成判定部１０８は、注意喚起出力を生成し、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、グレースケール画像中の歩行者を目立つ色の枠等により強調表示してＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に注意を喚起する。

ここでは、注意喚起出力生成判定部１０８はＨＵＤ２６ａの表示上で、歩行者Ｐａを、赤色又は黄色等の上述した目立つ色の枠で囲んで注意喚起を促す出力を生成する。

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

例えば、図１０に示すように、車両１２Ａに搭載された左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置を用いてもよい。いわゆるステレオカメラとしての赤外線カメラ１６Ｒ、１６Ｌは、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に対して略対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、且つ両者の路面からの高さが等しくなるように固定されている。この左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置では、公知のように、左右一組の赤外線カメラ１６Ｒ、１６Ｌにより取得した自車両周辺の画像において温度が高い部分を対象物にするとともに、左右画像中の同一対象物の視差等を用いて三角測量の原理により前記対象物までの距離を算出し、前記対象物の移動方向（移動ベクトル）や前記対象物の位置から、車両（自車両）１２Ａの走行に影響を与えそうな対象物（接触の可能性のある対象物）を検出して注意喚起出力を出力する。

１０…車両周辺監視装置 １２、１２Ａ…車両
１４…画像処理ユニット １４ｃ…ＣＰＵ
１４ｍ…記憶部 １６、１６Ｒ、１６Ｌ…赤外線カメラ
１０１…頭部候補抽出部 １０２…他車両候補検出部
１０３…他車両判定部 １０６…接触可能性判定部
１０８…注意喚起出力生成判定部

Claims (5)

1. 車両に搭載された赤外線カメラにより取得した画像を用いて車両周辺の物体を検出すると共に、検出した物体の種別を判定する車両周辺監視装置において、
   前記画像から、歩行者頭部候補を抽出する頭部候補抽出部と、
   抽出した前記歩行者頭部候補よりも下方且つ所定範囲内に、前記歩行者頭部候補よりも面積が大きく、且つ水平方向に所定幅以上の長さを持つ高輝度領域を検出する他車両候補検出部と、
   前記他車両候補検出部が、前記高輝度領域を検出したとき、前記歩行者頭部候補が、他車両の一部であると判定する他車両判定部と、
   を備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記他車両判定部は、
   前記他車両候補検出部が、前記歩行者頭部候補を、前記画像中の剛体の中に検出したとき、前記剛体を前記他車両と判定する
   ことを特徴とする車両周辺監視装置。
3. 請求項１又は２に記載の車両周辺監視装置において、
   前記他車両候補検出部は、
   前記画像から、さらに、エンジンの排気管候補又はタイヤ候補を検出し、
   前記他車両判定部は、
   前記他車両候補検出部が、前記排気管候補又は前記タイヤ候補よりも上方に前記高輝度領域を検出したとき、前記歩行者頭部候補及び前記排気管候補を含む物体、又は前記歩行者頭部候補及び前記タイヤ候補を含む物体を前記他車両と判定する
   ことを特徴とする車両周辺監視装置。
4. 請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
   前記他車両候補検出部が、さらに、前記画像中、前記歩行者頭部候補の上方に、所定面積以上の他の高輝度領域又は所定面積以上の低輝度領域を検出したとき、
   前記他車両判定部は、
   前記他車両候補検出部による前記歩行者頭部候補よりも面積が大きい前記水平方向の前記高輝度領域の検出の有無に拘わらず、前記歩行者頭部候補を、前記他車両の一部であると判定する
   ことを特徴とする車両周辺監視装置。
5. 請求項４に記載の車両周辺監視装置において、
   車外温度が第１温度以上の場合には、前記歩行者頭部候補よりも面積が大きい低輝度領域が前記歩行者頭部候補よりも上部に存在するか否かを判定し、車外温度が前記第１温度より低い第２温度以下の場合には、前記歩行者頭部候補よりも面積が大きい高輝度領域が存在するか否かを判定する
   ことを特徴とする車両周辺監視装置。

Images