JP2007310706A - 車両周辺監視装置 - Google Patents

Abstract

【課題】対象物の種別を判定することができる車両周辺監視装置、特に、対象物の中から人以外の動物を判定することができる車両周辺監視装置を提供する。
【解決手段】車両に搭載された撮像手段２Ｒ，２Ｌによって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物の画像領域を抽出する（ＳＴＥＰ１〜６）対象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する（ＳＴＥＰ３１〜３６）対象物種別判定手段とを備える。
【選択図】図５

Description

本発明は、自車両の走行に影響を与える対象物を認識する車両周辺監視装置に関する。

従来、この種の車両周辺監視装置としては、赤外線カメラにより捉えられた車両周辺の撮像画像から、自車両との接触の可能性がある歩行者の対象物を抽出し、その情報を自車両の運転者に視覚的に提供する表示処理装置が提案されている（例えば特許文献１参照）。この装置は、赤外線撮像画像を２値化処理して高輝度領域を探し、該領域の赤外線画像領域内の重心位置、面積比、実面積などの頭部判定条件から、該領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定した後、歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線撮像画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで視覚補助を行う。

しかしながら、車両周辺に存在し、車両と接触する可能性のある対象物は歩行者に限られるものではなく、例えば、鹿などの大型動物が道路上に存在して、車両と接触する場合も考えられる。この場合、大型動物は、その赤外線画像領域内の重心位置、面積比、実面積などから、上述の判定条件では歩行者と判定されることはないため、車両との接触の可能性があるにもかかわらず、注意喚起の対象としてその情報が車両の運転者に報知されることはないという不都合があった。
特開平１１−３２８３６４号公報

本発明は、以上の不都合な点に鑑み、対象物の種別を判定することができる車両周辺監視装置、特に、対象物の中から人以外の動物を判定することができる車両周辺監視装置を提供することをその課題としている。

上記課題を解決するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定手段とを備えることを特徴とする。

一般的に、動物の種類によっては、該動物を正面又は背面から撮像すると、動物の頭部に相当する逆三角形の第１の対象物領域と、該第１の対象物領域の下に胴部に相当する第２の対象物領域とを有する画像領域が得られる。そこで、本発明の車両周辺監視装置は、前記対象物の画像領域が、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むことを条件として、該対象物の種別を判定する。これにより、該対象物の種別が、逆三角形の画像領域を有する動物であるか否かを判定することができる。

また、本発明の車両周辺監視装置において、前記対象物種別判定手段は、前記対象物抽出手段によって抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むときに、該対象物の種別は人以外の動物であると判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記対象物種別判定手段は、前記対象物の画像領域が、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むことを条件として、該対象物が人以外の動物であるか否かを判定する。これにより、逆三角形の形状を有さない看板や標識等と区別して、該対象物が人以外の動物であるか否かを判定することができる。

さらに、本発明の車両周辺監視装置において、前記第１の対象物領域は、さらに所定の大きさを有することを特徴とする。

一般的に、頭部に相当する第１の対象物領域の大きさは、動物の種類によって異なる。そのため、前記対象物種別判定手段は、所定の大きさを有する逆三角形の第１の対象物領域を有することを条件として、対象物の種別を判定する。これにより、対象物の種別をより正確に判定することができる。

また、本発明の車両周辺監視装置において、前記対象物種別判定手段は、前記逆三角形状の最も下方に位置する頂角に対向する辺の長さ又は前記逆三角形状の水平方向の幅の最大値を第１領域幅とし、前記第２の対象物領域の水平方向の幅の最大値を第２領域幅として、該第１領域幅と第２領域幅との関係に基づいて、前記対象物の種別を判定することを特徴とする。

一般的に、動物の頭部の幅に相当する第１領域幅と、胴部の幅に相当する第２領域幅との関係は、動物の種類によって異なる。そこで、本発明の対象物種別判定手段は、第１領域幅と第２領域幅との関係に基づいて対象物の種別を判定する。これにより、該対象物の種別が、第１領域幅と第２領域幅との関係が所定の関係となる動物であるか否かを判定することができる。

さらに、本発明の車両周辺監視装置において、前記対象物種別判定手段は、前記第２領域幅が、前記第１領域幅の１／２より大きい場合に、前記対象物の種別は人以外の動物であると判定することを特徴とする。

一般的に、人以外の動物であれば、頭部を支える胴部の幅は、少なくとも頭部の幅の１／２より大きいと考えられる。そこで、本発明の車両周辺監視装置によれば、前記第２領域幅が、前記第１領域幅の１／２より大きい場合に、前記対象物は人以外の動物であると判定することができる。

また、本発明の車両周辺監視装置において、前記撮像画像に含まれる画像領域に対応する実空間上の位置の前記車両からの距離を算出する距離算出手段を備え、前記対象物種別判定手段は、前記第２の対象物領域に対応する実空間上の位置が、前記第１の対象物領域に対応する実空間上の位置から所定の距離以内に位置することを条件として、該対象物の種別を判定することを特徴とする。

一般的に、人以外の動物を正面から見た場合には、胴部に相当する第２の対象物領域は頭部に相当する第１の対象物領域のほぼ真下に位置するため、第１の対象物領域と第２の対象部領域の実空間上の距離はほぼ等しくなる。一方、背面から見た場合には、第２の対象物領域は第１の対象物領域の真下ではなく手前側に位置するため、第１の対象物領域と第２の対象物領域の実空間上の距離はある程度差が生じる。そこで、本発明の車両周辺監視装置は、前記第２の対象物領域の実空間上の位置が、前記第１の対象物領域の実空間上の位置から所定の距離以内に位置するか否かを条件として、前記対象物の種別を判定する。これにより、正面、背面のいずれから見た場合であっても、第１の対象物領域と第２の対象物領域とが同一の動物の一部であると判断して、対象物の種別を精度良く判定することができる。

上記課題を解決するための本発明の車両は、前記車両周辺監視装置が搭載されたことを特徴とする。

かかる本発明の車両によれば、前記車両周辺監視装置によって、前記対象物の画像領域が、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むことを条件として、該対象物の種別を判定する。これにより、該対象物の種別が、逆三角形の画像領域を有する動物であるか否かを判定することができる。

上記課題を解決するための本発明の車両周辺監視用プログラムは、車両に搭載された撮像手段による撮像画像のデータにアクセスする手段を有する車載コンピュータに、車両の周辺に存在する物体を監視する機能を実現させるためのプログラムであって、該コンピュータを、前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定手段として機能させることを特徴とする。

かかる本発明の車両周辺監視用プログラムを前記コンピュータ上で実行させて、前記対象物抽出手段により前記撮像画像から対象物を抽出し、前記対象物種別判定手段により、前記対象物抽出手段により抽出された対象物の画像領域が、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むことを条件として、該対象物の種別を判定する。これにより、該対象物の種別が、逆三角形の画像領域を有する動物であるか否かを判定することができる。

上記課題を解決するための本発明の車両周辺監視方法は、車両に搭載された撮像手段による撮像画像のデータにアクセスする手段を有する車載コンピュータにより、車両の周辺に存在する物体を監視する車両周辺監視方法であって、前記コンピュータが、前記撮像画像から対象物の画像領域を抽出する対象物抽出ステップと、前記コンピュータが、前記対象物抽出ステップにより抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定ステップとを有することを特徴とする。

かかる本発明の車両周辺監視方法によれば、前記コンピュータが対象物抽出ステップで前記撮像画像から対象物を抽出し、対象物種別判定ステップで、前記対象物抽出ステップにより抽出された対象物の画像領域が、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むことを条件として、該対象物の種別を判定する。これにより、該対象物の種別が、逆三角形の画像領域を有する動物であるか否かを判定することができる。

本発明の一実施形態を以下に図１〜図７を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像手段に相当する。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の注意喚起要件を満す場合にスピーカ６や表示装置７により運転者に注意喚起を発する処理を実行する。

なお、画像処理ユニット１は、本発明における対象物抽出手段、対象物種別判定手段および距離算出手段としての機能を備えている。そして、前記マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることにより、該コンピュータは、本発明の対象物抽出手段および対象物種別判定手段として機能する。さらに、前記マイクロコンピュータを、対象物抽出手段および対象物種別判定手段として機能させることにより、本発明の車両周辺監視方法における対象物抽出ステップおよび対象物種別判定ステップが実行される。

なお、画像処理ユニット１は、本発明における対象物抽出手段および対象物種別判定手段としての機能を備えている。そして、前記マイクロコンピュータに、本発明の車両周辺監視用プログラムを実行させることにより、該コンピュータは、本発明の対象物抽出手段および対象物種別判定手段として機能する。さらに、前記マイクロコンピュータを、対象物抽出手段および対象物種別判定手段として機能させることにより、本発明の車両周辺監視方法における対象物抽出ステップおよび対象物種別判定ステップが実行される。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３のフローチャートを参照して説明する。なお、図３のフローチャートの処理のうちの多くの処理は、例えば本出願人による特開２００１−６０９６号の図３に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線撮像画像を取得する（ＳＴＥＰ１）。赤外線撮像画像は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像をＡ／Ｄ変換して得られるグレースケール画像であり、画像メモリに格納される。なお、以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像といい、特に、右画像を基準画像という。また、基準画像は、本実施形態では右画像であるが、左画像としてもよい。

次いで、画像処理ユニット１は、前記基準画像（右画像）を２値化する（ＳＴＥＰ２）。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ３〜５の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ３）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ４）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ５）。

なお、ＳＴＥＰ３〜５の処理により抽出される対象物には、人（歩行者）だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の複数の局所領域が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ６）。面積は、ランレングスデータの長さを同一対象物について積算することにより算出し、重心の座標は、面積をｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比は、ランレングスデータ化したラインの外接四角形の縦横比として算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ５で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ７）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ５の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ５の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ４で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ８）。なお、このＳＴＥＰ８では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ７，８の処理と並行して、ＳＴＥＰ１０の処理を実行する。このＳＴＥＰ１０〜１２の処理は、ＳＴＥＰ５で抽出した各対象物の自車両１０からの距離を求める処理である。その処理を概略的に説明すると、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１０）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が左画像に設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１１）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１１の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１２）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１０〜１２の処理の概要である。なお、ＳＴＥＰ１０〜１２の処理は、ＳＴＥＰ５で抽出された各対象物に対して実行される。

ＳＴＥＰ８およびＳＴＥＰ１２の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１３）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ８で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１４）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１５）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の自車両１０に対する相対速度ベクトルに比例する。

次いで、ＳＴＥＰ１５において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定する注意喚起判定処理を行う（ＳＴＥＰ１６）。なお、注意喚起判定処理については、詳細を後述する。

そして、画像処理ユニット１は、ＳＴＥＰ１６の注意喚起判定処理において、いずれの対象物も注意喚起発生要件を満たさない（注意喚起発生要件に該当する対象物が存在しない）と判断した場合（ＳＴＥＰ１６の判定結果がＮＯとなる場合）には、前記ＳＴＥＰ１からの処理を再開する。また、ＳＴＥＰ１６で、いずれかの対象物が注意喚起発生要件を満たすと判断した場合（ＳＴＥＰ１６の判定結果がＹＥＳとなる場合）には、ＳＴＥＰ１７に進んで、注意喚起発生要件を満たす対象物に関する実際の注意喚起を行なうべきか否かの判定を行なう注意喚起出力判定処理を実行する（ＳＴＥＰ１７）。この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。

そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ１７の判定結果がＹＥＳとなる場合）には、注意喚起を出力する（ＳＴＥＰ１８）。具体的には、前記スピーカ６を介して音声による注意喚起を発するとともに、画像表示装置７の基準画像の中に前記注意喚起発生要件を満たす対象物の画像を強調的に表示する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ１７で注意喚起を行なわないと判断したとき（全ての対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ１７の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。

以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１〜６の処理を実行する構成が、本発明の対象物抽出手段に相当し、ＳＴＥＰ１２の処理を実行する構成が、本発明の距離算出手段に相当する。また、ＳＴＥＰ１〜６の処理は、本発明の車両周辺監視方法における対象物抽出ステップに相当する。

次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１６における注意喚起判定処理についてさらに詳しく説明する。なお、図４のフローチャートの処理のうちの多くの処理は、例えば本出願人による特開２００１−６０９６号の図４に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。

図４は、本実施の形態の注意喚起判定処理動作を示すフローチャートであり、注意喚起判定処理は、以下に示す接触判定処理、接近判定領域内か否かの判定処理、進入接触判定処理、歩行者判定処理、人工構造物判定処理、および本発明に関連する対象物種別判定処理により、自車両１０と検出した対象物との接触の可能性を判定する処理である。

まず、画像処理ユニット１は、接触判定処理を行う（ＳＴＥＰ２１）。接触判定処理は、対象物が所定時間の間に自車両１０に接近した距離から、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ（例えば２〜５秒）以内に両者が接触する可能性があるか否かを判定する処理である。具体的には、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。

次に、ＳＴＥＰ２１において、余裕時間Ｔ以内に自車両１０と対象物とが接触する可能性がある場合（ＳＴＥＰ２１の判定結果がＹＥＳとなる場合）、ＳＴＥＰ２２に進んで、さらに判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ＳＴＥＰ２２）。接近判定領域内か否かの判定処理は、赤外線カメラ２Ｒ、２Ｌで監視可能な領域内で、自車両１０の車幅の両側に余裕（例えば５０〜１００ｃｍ程度とする）を加えた幅を有する範囲に対応する領域、すなわち対象物がそのまま存在し続ければ自車両１０との接触の可能性がきわめて高い接近判定領域内に存在するか否かを判定する処理である。

さらに、ＳＴＥＰ２２において、対象物が接近判定領域内に存在しない場合（ＳＴＥＰ２２の判定結果がＮＯとなる場合）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と接触する可能性があるか否かを判定する進入接触判定処理を行う（ＳＴＥＰ２３）。進入接触判定処理は、カメラの撮像領域内のうち、上述の接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域に進入すると共に自車両１０と接触するか否かを判定する処理である。具体的には、接近判定領域に存在している対象物の移動ベクトル（ＳＴＥＰ１５参照）が自車両１０に向かっているときに、接触する可能性が高いと判定する。

一方、ＳＴＥＰ２２において、対象物が接近判定領域内に存在している場合（ＳＴＥＰ２２の判定結果がＹＥＳとなる場合）、画像処理ユニット１は対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ＳＴＥＰ２４）。人工構造物判定処理は、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、注意喚起の対象から除外する処理である。人工構造物判定処理は、対象物の画像領域に、例えば下記（ａ）〜（ｄ）に示す条件のように、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、注意喚起の対象から除外する処理である。
（ａ）対象物の画像に直線エッジを示す部分が含まれる場合。
（ｂ）対象物の画像の角が直角である場合。
（ｃ）対象物の画像に同じ形状のものが複数含まれている場合。
（ｄ）対象物の画像が予め登録された人工構造物の形状と一致する場合。

次に、ＳＴＥＰ２４において、対象物は人工構造物ではないと判定された場合（ＳＴＥＰ２４の判定結果がＮＯとなる場合）、さらに判定の信頼性を上げるために、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ＳＴＥＰ２５）。歩行者判定処理は、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。

さらに、上述のＳＴＥＰ２３において、対象物が接近判定領域内へ進入して自車両１０と接触する可能性がある場合（ＳＴＥＰ２３の判定結果がＹＥＳとなる場合）、およびＳＴＥＰ２５において、対象物が歩行者の可能性がある場合（ＳＴＥＰ２５の判定結果がＹＥＳとなる場合）、画像処理ユニット１は、検出した対象物を注意喚起対象として決定し（ＳＴＥＰ２６）、図３に示すＳＴＥＰ１７の判定結果がＹＥＳの場合としてＳＴＥＰ１７へ進み、注意喚起出力判定処理（ＳＴＥＰ１７）を行う。

一方、上述のＳＴＥＰ２５において、対象物が歩行者でないと判定された場合（ＳＴＥＰ２５の判定結果がＮＯとなる場合）には、詳細については後述するが、本発明に関連する対象物種別判定処理を行う（ＳＴＥＰ２７）。対象物種別判定処理では、対象物の中に人以外の動物が含まれていないか判定される。そして、対象物種別判定処理の結果、対象物が人以外の動物であると判定された場合（ＳＴＥＰ２７の判定結果がＹＥＳとなる場合）には、画像処理ユニット１は、検出した対象物を注意喚起対象として決定し（ＳＴＥＰ２６）、図３に示すＳＴＥＰ１７の判定結果がＹＥＳの場合としてＳＴＥＰ１７へ進み、注意喚起出力判定処理（ＳＴＥＰ１７）を行う。

一方、上述のＳＴＥＰ２１において、余裕時間Ｔ以内に自車両１０と対象物とが接触する可能性がない場合（ＳＴＥＰ２１の判定結果がＮＯとなる場合）、あるいはＳＴＥＰ２３において、対象物が接近判定領域内へ進入して自車両１０と接触する可能性がない場合（ＳＴＥＰ２３の判定結果がＮＯとなる場合）、あるいはＳＴＥＰ２４において、対象物は人工構造物であると判定された場合（ＳＴＥＰ２４の判定結果がＹＥＳとなる場合）、あるいはＳＴＥＰ２７において、対象物は人以外の動物ではないと判定された場合（ＳＴＥＰ２７の判定結果がＮＯとなる場合）のいずれかであった場合は、画像処理ユニット１は、検出した対象物は注意喚起対象ではないと判定し（ＳＴＥＰ２８）、図３に示すＳＴＥＰ１６の判定結果がＮＯの場合としてＳＴＥＰ１へ戻り、歩行者等の対象物検出・注意喚起動作を繰り返す。

以上が、図３に示したフローチャートのＳＴＥＰ１６における注意喚起判定処理についての説明である。

次に、図５〜７を参照して、本発明に関連する前記ＳＴＥＰ２７の対象物種別判定処理について、図５に示すフローチャートを参照して説明する。

まず、画像処理ユニット１は、前記ＳＴＥＰ２５において対象物は歩行者ではないと判定された各対象物の２値化処理画像（ＳＴＥＰ２参照）から、周知の形状マッチングの手法を用いて、対象物と自車両１０との距離に応じた所定の大きさを有する逆三角形状を第１の対象物領域として検出する（ＳＴＥＰ３１）。ここで、所定の大きさを有する逆三角形状は、鹿、牛、馬、ラクダなどの大型動物の頭部に対応する形状であって、所定の大きさは、該逆三角形状の大きさを対象物と自車両１０との距離に応じて設定したものである。そのため、対象物の画像領域に逆三角形状を含む場合であっても、大型動物の頭部に相当する逆三角形状を有さない道路標識や所定の大きさを有さない看板などが第１の対象物領域として検出されることはない。

例えば、前記赤外線撮像画像として図６（ａ）に示す鹿の画像が取得された場合、該赤外線撮像画像の２値化処理画像は、図６（ｂ）に示す外形形状となる。そして、２値化処理画像における対象物の外形形状から、形状マッチングの手法を用いて、図７に示すように、動物の頭部に相当する逆三角形状が第１の対象物領域Ｐ１として検出される。

次に、ＳＴＥＰ３１において、第１の対象物領域が検出された場合（ＳＴＥＰ３１の判断結果がＹＥＳの場合）には、ＳＴＥＰ３２に進んで、前記２値化処理画像上で、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置することを条件として、該条件を満たす複数の第２の対象物領域候補を抽出する。そして、該複数の第２の対象物領域候補のうちで、実空間上の位置が該第１の対象物領域の実空間上の位置から所定距離以内に位置する第２の対象物領域候補を、胴部に相当する第２の対象物領域として検出する（ＳＴＥＰ３２）。ここで、所定範囲とは、一般的に、鹿、牛、馬、ラクダなどの大型動物の頭部に対して胴部が存在し得る画像上の範囲を想定して設定される。また、対象物である動物を正面から見た場合には、胴部は頭部のほぼ真下に位置するが、背面から見た場合には、胴部は頭部の真下ではなく手前側（自車両１０側）に位置する。そのため、所定距離とは、実空間上において頭部の位置から胴部の最も離れた位置までの距離に相当する距離を想定して設定される。

例えば、上述の図７に示す場合には、第１の対象物領域Ｐ１の下方に位置し、且つ第１の対象物領域Ｐ１から所定範囲内に位置する画像領域Ｐ２が第２の対象物領域候補として検出され、画像領域Ｐ２の実空間上の位置が第１の対象物領域Ｐ１の実空間上の位置から所定距離以内であるときに、画像領域Ｐ２が第２の対象物領域として検出される。

次いで、ＳＴＥＰ３２において、第２の対象物領域が検出された場合（ＳＴＥＰ３２の判断結果がＹＥＳの場合）には、ＳＴＥＰ３３に進んで、前記２値化処理画像上で、対象物の第１の対象物領域の水平方向の幅である第１領域幅と、第２の対象物領域の水平方向の幅が最大となる箇所の幅である第２領域幅とを算出する（ＳＴＥＰ３３）。

例えば、上述の図７に示す場合には、前記２値化処理画像上における第１の対象物領域Ｐ１の水平方向（図中のｘ軸方向）の幅である第１領域幅ＡＷと、第２の対象物領域Ｐ２の水平方向の幅が最大となる第２領域幅ＢＷが算出される。なお、ここでは、第１領域幅を、第１の対象物領域Ｐ１の水平方向の幅ＡＷとして算出しているが、画像上の座標を用いて、逆三角形状の最も下方に位置する頂角に対向する辺の長さ（図中のＱ１とＲ１との間の長さ）を求め、該長さを第１領域幅としてもよい。また、第２領域幅として、第２の対象物領域Ｐ２の水平方向の幅が最大となる箇所の幅ＢＷを用いているが、水平方向における第２の対象物領域Ｐ２の両側端縁Ｑ２，Ｒ２間の長さＢＷ´を用いてもよい。

続けて、ＳＴＥＰ３３において、前記第１領域幅と前記第２領域幅とが算出されると、ＳＴＥＰ３４に進んで、第２領域幅が第１領域幅の１／２以下となるか否かを判定する（ＳＴＥＰ３４）。

例えば、上述の図７に示す場合には、前記２値化処理画像上における第１領域幅ＡＷと第２領域幅ＢＷに対して、ＢＷ／ＡＷの値が１／２以下か否かが判定される。ここで、ＢＷ／ＡＷの値が１／２以下であることを判定条件としたのは、頭部を支える胴部の幅は、少なくとも頭部の幅の１／２より大きいと考えられる。すなわち、胴部の幅である第２領域幅ＢＷがその頭部の幅である第１領域幅ＡＷの１／２以下の場合には、頭部を支える動物の胴部としてはあり得ない関係となるためである。これにより、一般的に、ＢＷ／ＡＷの値が１／２以下となる道路標識等の人工構造物は、人以外の動物ではないと判定される。

そして、ＳＴＥＰ３４において、第２領域幅が第１領域幅の１／２より大きい場合（ＳＴＥＰ３４の判断結果がＮＯの場合）には、画像処理ユニット１は、対象物を人以外の動物であると判定し（ＳＴＥＰ３５）、対象物種別判定処理を終了する。

一方、上述のＳＴＥＰ３１において、前記２値化処理画像から第１の対象物領域が検出されない場合（ＳＴＥＰ３１の判断結果がＮＯとなる場合）、あるいはＳＴＥＰ３２において、第１の対象物領域の下方位置から第２の対象物領域が検出されない場合（ＳＴＥＰ３２の判断結果がＮＯとなる場合）、あるいはＳＴＥＰ３４において、第２領域幅が第１領域幅の１／２以下となる場合（ＳＴＥＰ３４の判断結果がＹＥＳとなる場合）、画像処理ユニット１は、対象物は人以外の動物でないと判定し（ＳＴＥＰ３６）、対象物種別判定処理を終了する。

以上が、本発明の対象物種別判定処理の詳細である。なお、画像処理ユニット１によりＳＴＥＰ３１〜３６の処理を実行する構成が、本発明の対象物種別判定手段に相当する。また、ＳＴＥＰ３１〜３６の処理は、本発明の車両周辺監視方法おける対象物種別判定ステップに相当する。

なお、本実施形態においては、ＳＴＥＰ２７の対象物種別判定処理は、２値化処理画像を用いて、
（１）頭部に相当する所定の大きさの逆三角形状の第１の対象物領域を有すること（ＳＴＥＰ３１）
（２）胴部に相当する第２の対象物領域を有すること（ＳＴＥＰ３２）
（３）第２領域幅が第１領域幅の１／２以下でないこと（ＳＴＥＰ３４）
という条件で対象物が人以外の動物であるか否かを判定しているが、上記条件（１）〜（３）の一部を実行することにより判定を行なってもよい。例えば、上記条件（１），（２）のみで判定を行なってもよい。また、上記条件（１）を「逆三角形状の第１の対象物領域を有すること」（「所定の大きさ」であることを条件としない）に変更して、判定を行ってもよい。

また、本実施形態において、ＳＴＥＰ２７の対象物種別判定処理は、対象物の種別が人以外の動物であるかを判定しているが、他の種別であるかを判定するようにしてもよい。例えば、対象物の画像領域の大きさに応じて、対象物の種別が大型動物であるか、小型動物であるかを区別して判定してもよい。また、対象物の画像領域から検出する形状をさらに特定することにより、対象物の種別が、大型動物の中の鹿であるか、牛であるか、馬であるか等を区別して判定してもよい。

さらに、本実施形態において、ＳＴＥＰ２７の対象物種別判定処理では、２値化画像を用いて、ＳＴＥＰ３１〜３７の処理を実行しているが、これに限られるものではなく、例えば、２値化画像の代わりに前記基準画像を用いて、該基準画像の輝度分散値を用いてＳＴＥＰ３１〜３７の処理を実行するように構成してもよい。

また、本実施形態において、ＳＴＥＰ２７の対象物種別判定処理では、２値化画像における対象物の外形形状から、周知の形状マッチングの手法を用いて、対象物と自車両１０との距離に応じた所定の大きさを有する逆三角形状を第１の対象物領域として検出しているが（ＳＴＥＰ３１）、これに限定されるものではない。例えば、対象物の２値化処理画像のランレングスの変化が減少から増加に転じる領域で対象物の２値化画像を分割する。そして、分割された後の領域のうちで、ランレングスが下方に行くに従って減少する、所定の大きさを有する領域を逆三角形状として検出するようにしてもよい。

さらに、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の注意喚起を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。

さらに、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、対象物との距離をレーダーなどにより検出するようにした場合には、１台の赤外線カメラ２Ｒもしくは２Ｌを自車両１０に搭載するようにしてもよい。

本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。 図１の周辺監視装置を備えた車両の斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における対象物種別判定処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 画像処理ユニットの処理を説明するための図。

符号の説明

１…画像処理ユニット（対象物抽出手段、対象物種別判定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、ＳＴＥＰ１〜６…対象物抽出手段による処理、ＳＴＥＰ１２…距離算出手段による処理、ＳＴＥＰ３１〜３６…対象物種別判定手段による処理。

Claims (9)

1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、
   前記対象物抽出手段により抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定手段と
   を備えることを特徴とする車両周辺監視装置。
2. 前記対象物種別判定手段は、前記対象物抽出手段によって抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とを含むときに、該対象物の種別は人以外の動物であると判定することを特徴とする車両周辺監視装置。
3. 前記第１の対象物領域は、さらに所定の大きさを有することを特徴とする請求項１又は２記載の車両周辺監視装置。
4. 前記対象物種別判定手段は、前記逆三角形状の最も下方に位置する頂角に対向する辺の長さ又は前記逆三角形状の水平方向の幅の最大値を第１領域幅とし、前記第２の対象物領域の水平方向の幅の最大値を第２領域幅として、該第１領域幅と第２領域幅との関係に基づいて、前記対象物の種別を判定することを特徴とする請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置。
5. 前記対象物種別判定手段は、前記第２領域幅が、前記第１領域幅の１／２より大きい場合に、前記対象物の種別は人以外の動物であると判定することを特徴とする請求項４記載の車両周辺監視装置。
6. 前記撮像画像に含まれる画像領域に対応する実空間上の位置の前記車両からの距離を算出する距離算出手段を備え、
   前記対象物種別判定手段は、前記第２の対象物領域に対応する実空間上の位置が、前記第１の対象物領域に対応する実空間上の位置から所定の距離以内に位置することを条件として、該対象物の種別を判定することを特徴とする請求項１から請求項５のうちいずれか１項記載の車両周辺監視装置。
7. 請求項１から請求項６のうちいずれか１項記載の車両周辺監視装置が搭載されたことを特徴とする車両。
8. 車両に搭載された撮像手段による撮像画像のデータにアクセスする手段を有する車載コンピュータに、車両の周辺に存在する物体を監視する機能を実現させるためのプログラムであって、該コンピュータを、
   前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、
   前記対象物抽出手段により抽出された対象物の画像領域に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定手段と
   して機能させることを特徴とする車両周辺監視用プログラム。
9. 車両に搭載された撮像手段による撮像画像のデータにアクセスする手段を有する車載コンピュータにより、車両の周辺に存在する物体を監視する車両周辺監視方法であって、
   前記コンピュータが、前記撮像画像から対象物の画像領域を抽出する対象物抽出ステップと、
   前記コンピュータが、前記対象物抽出ステップにより抽出された対象物の画像部分に、逆三角形状の第１の対象物領域と、該第１の対象物領域の下方であって該第１の対象物領域から所定範囲内に位置する第２の対象物領域とが含まれるか否かに応じて、対象物の種別を判定する対象物種別判定ステップと
   を有することを特徴とする車両周辺監視方法。