JP5004903B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。

撮像装置により撮像された赤外線画像から対象物である歩行者の頭部に相当する領域を抽出し、当該頭部領域に基づいて歩行者の胴体に相当する領域を抽出することにより対象物が歩行者であることを認識し、この歩行者の存在を車両の運転者に知らせる技術が知られている（特許文献１参照）。
特開平１１−３２８３６４号公報

しかし、自車両の周辺には歩行者（人間）のみならず、鹿等の四足動物も存在する場合がある。この場合、対象物が人間であるか否かを判定する手法が採用されても、対象物が四足動物であるか否かを判定することは困難である。このため、車両の運転者に四足動物の存在を知らせること、さらには、運転者が対象物との接触を回避するように車両を運転することが困難となる。

そこで、本発明は、対象物が四足動物であるか否かを高精度で認識することができる車両周辺監視装置を提供することを目的とする。

第１発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、対象物を表わす第１閾値以上の輝度の第１高輝度領域に含まれる前記第１閾値より大きい第２閾値以上の輝度の第２高輝度領域により構成される第１対象物領域を抽出し、前記第１対象物領域下方の前記対象物の一部が存在する領域である第２対象物領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記第１対象物領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域抽出手段により抽出された前記対象物領域から、上下方向または上下方向に対して傾斜している方向にのび、かつ、下方に向かうにつれて間隔が広がるように配置されている横並びの２対の要素領域からなる第１の要素領域群、および、下方に向かうにつれて間隔が広がるように配置されている横並びの１対の前記要素領域とその横に並ぶ１つの前記要素領域とからなる第２の要素領域群が異なる時刻において抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする。

第１発明の車両周辺監視装置によれば、撮像画像（撮像手段により撮像された画像のほか、当該画像に加工処理が施されることにより得られた画像も含まれる。）から抽出された対象物が存在する領域としての対象物領域から、第１および第２の要素領域群が異なる時刻において抽出されたことを要件として、当該対象物が四足動物に該当すると判定される。なお、「四足動物」はすべての四足動物を意味するのではなく、本発明の手法により分類されうる特定の四足動物を意味している。第１の要素領域群は、前脚および後脚が開いている「第１の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い。第２の要素領域群は、前脚および後脚のうち一方が開き、他方がほぼ揃っている「第２の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い。さらに、歩行または走行している四足動物が横から観察された場合、この四足動物の姿勢として「第１の姿勢」と「第２の姿勢」とが異なる時刻で確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

第２発明の車両周辺監視装置は、第１発明の車両周辺監視装置において、前記対象物分類手段が、前記第２の要素領域群と、前記第２の要素領域群と比較して左右逆に並ぶ下方に向かうにつれて間隔が広がるように配置されている横並びの前記１対の要素領域および前記１つの要素領域からなる第３の要素領域群とが異なる時刻に抽出されることをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする。

第２発明の車両周辺監視装置によれば、対象物領域から第２の要素領域群および第３の要素領域群が異なる時刻に抽出されたことをさらなる要件として、対象物が四足動物に該当すると判定される。第３の要素領域群は、第２の姿勢と比較して、前脚および後脚のうち開いている一対の脚と、ほぼ揃っている一対の脚との配置が左右（四足動物にとっては前後）逆になっている「第３の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い。さらに、歩行または走行している四足動物が横から観察された場合、この四足動物の姿勢として「第２の姿勢」および「第３の姿勢」が異なる時刻で確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

第３発明の車両周辺監視装置は、第２発明の車両周辺監視装置において、前記対象物分類手段が、前記第１の要素領域群が抽出されてから第１の所定時間以内に前記第２の要素領域群が抽出されることと、前記第２の要素領域群が抽出されてから前記第１の所定時間より長い第２の所定時間以内に前記第３の要素領域群が抽出されることとをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする。

第３発明の車両周辺監視装置によれば、第１の要素領域群が抽出されてから第１の所定時間以内に第２の要素領域群が抽出されることと、第２の要素領域群が抽出されてから第１の所定時間よりも長い第２の所定時間以内に第３の要素領域群が抽出されることとを要件として、対象物が四足動物に該当すると判定される。歩行または走行している四足動物が横から観察された場合、四足動物の姿勢が第１の姿勢から第２の姿勢に遷移するのに要する時間よりも、四足動物の姿勢が第２の姿勢から第３の姿勢に遷移するのに要する時間のほうが長くなる可能性が高い。したがって、前記のように第２の所定時間が第１の所定時間よりも長く設定されることにより、第２の要素領域群が抽出されてから、第３の要素領域群が抽出されえないほど早い段階で対象物が四足動物に該当しないと誤認される事態が回避されうる。すなわち、前記のような判定手法により対象物が四足動物であるか否かが高精度で認識されうる。

第４発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から、対象物を表わす第１閾値以上の輝度の第１高輝度領域に含まれる前記第１閾値より大きい第２閾値以上の輝度の第２高輝度領域により構成される第１対象物領域を抽出し、前記第１対象物領域下方の前記対象物の一部が存在する領域である第２対象物領域を対象物領域として抽出する対象物領域抽出手段と、前記対象物領域抽出手段により抽出された前記第１対象物領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域抽出手段により抽出された前記対象物領域から、上下方向または上下方向に対して傾斜している方向にのび、かつ、下方に向かうにつれて間隔が広がるように配置されている横並びの１対の要素領域と、前記１対の要素領域の横に並ぶ１つの前記要素領域とからなる第２の要素領域群と、前記第２の要素領域群と比較して左右逆に並ぶ前記１対の要素領域および前記１つの要素領域からなる第３の要素領域群とが異なる時刻に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを有することを特徴とする。

第４発明の車両周辺監視装置によれば、第２発明と同様の理由から、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

第５発明の車両周辺監視装置は、第４発明の車両周辺監視装置において、前記対象物分類手段が、前記第２の要素領域群が抽出されてから前記第３の要素領域群が抽出される間に、前記第２対象物領域から下方に向かうにつれて間隔が広がるように配置されている横並びの２対の前記要素領域からなる第１の要素領域群が抽出されることをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする。

第５発明の車両周辺監視装置によれば、第２の要素領域群が抽出されてから第３の要素領域群が抽出される間に、第１の要素領域群が抽出されることをさらなる要件として、対象物が四足動物に該当すると判定される。第１の要素領域群は、前脚および後脚が開いている「第１の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い。さらに、歩行または走行している四足動物が横から観察された場合、この四足動物の姿勢として「第２の姿勢」「第１の姿勢」および「第３の姿勢」が異なる時刻で順に確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

本発明の車両周辺監視装置の実施形態について説明する。まず、本実施形態の車両周辺監視装置の構成について説明する。車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、および自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ６、および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するための表示装置７が接続されている。なお、赤外線カメラ２Ｒ，２Ｌが本発明における撮像手段に相当する。対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の通報要件を満す場合にスピーカ６や表示装置７により運転者に通報を発する処理を実行する。なお、画像処理ユニット１は対象物抽出手段および対象物分類手段としての機能を備えている。

図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。

次に、前記構成の車両周辺監視装置の基本的な機能について図３のフローチャートを用いて説明する。図３のフローチャートの基本的な処理内容は、たとえば本出願人による特開２００１−６０９６号公報の図３および特開２００７−３１０７０５号公報の図３に記載されている処理内容と同様である。

具体的にはまず、赤外線カメラ２Ｒ、２Ｌの赤外線画像信号が画像処理ユニット１に入力される（図３／ＳＴＥＰ１１）。次いで、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号をＡ／Ｄ変換する（図３／ＳＴＥＰ１２）。そして、画像処理ユニット１は、Ａ／Ｄ変換された赤外線画像からグレースケール画像を取得する（図３／ＳＴＥＰ１３）。その後、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ１４）。次いで、画像処理ユニット１は２値化画像から対象物が存在する領域を対象物領域Ｓとして抽出する。具体的には、２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ１５）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付される（図３／ＳＴＥＰ１６）。そして、ライン群のそれぞれが対象物として抽出される（図３／ＳＴＥＰ１７）。これにより、たとえば図６（ａ）〜（ｃ）に示されているように矩形状の二重枠によって対象物の全部を囲むように画定された領域が対象物領域Ｓとして抽出される。なお、対象物（高輝度領域）の全部ではなく、対象物の一部、特に、対象物が四足動物である場合にはその脚が存在する可能性が高い対象物の下部を包含するように対象物領域Ｓが設定されてもよい。これにより、たとえば図６（ａ）〜（ｃ）に示されている二重線で囲まれた領域の下部に位置する、一点鎖線で囲まれた領域が対象物領域Ｓとして抽出されてもよい。

その後、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比を算出する（図３／ＳＴＥＰ１８）。次いで、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の対象物の同一性を判定する（図３／ＳＴＥＰ１９）。そして、画像処理ユニット１は、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）を読み込む（図３／ＳＴＥＰ２０）。

一方、画像処理ユニット１は、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ３１）。次いで、左画像中から探索画像に対応する画像（対応画像）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（図３／ＳＴＥＰ３２）。そして、対象物の自車両１０からの距離（自車両１０の前後方向における距離）を算出する（図３／ＳＴＥＰ３３）。

次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ２１）。そして、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ２０で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ２２）。その後、画像処理ユニット１は、対象物の自車両１０に対する相対移動ベクトルを推定する（図３／ＳＴＥＰ２３）。次いで、ＳＴＥＰ２３において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定し、その可能性が高いときに通報を発する通報判定処理を実行する（図３／ＳＴＥＰ２４）。そして、対象物が通報判定要件を満たすと判定した場合（図３／ＳＴＥＰ２４‥ＹＥＳ）、通報判定要件を満たす対象物に関する実際の通報を行うべきか否かの判定を行う通報出力判定処理を実行する（図３／ＳＴＥＰ２５）。その後、画像処理ユニット１は、通報を行うべきと判定した場合（図３／ＳＴＥＰ２５‥ＹＥＳ）、運転者に対して自車両１０との接触可能性が高い状況である旨の通報をする（図３／ＳＴＥＰ２６）。具体的には、スピーカ６を介して音声を出力することにより当該状況が通報される。また、ＨＵＤ７ａにおいて対象物を強調表示することによっても当該状況が通報される。以上が本実施形態の周辺監視装置の全体的作動である。なお、画像処理ユニット１によりＳＴＥＰ１１〜１８の処理を実行する構成が、本発明の第１の対象物領域抽出手段に相当する。

次に、図３に示したフローチャートのＳＴＥＰ２４における通報判定処理について図４のフローチャートを用いて説明する。図４のフローチャートの基本的な処理内容は、例えば本出願人による特開２００１−６０９６号の図４および特開２００７−３１０７０５号の図４に記載されている処理内容と同様である。

具体的にはまず、画像処理ユニット１は、接触判定処理を行う（図４／ＳＴＥＰ４１）。接触判定処理は、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、接触の可能性があるものとして判定する。次いで、余裕時間Ｔ以内に自車両と対象物とが接触する可能性がある場合（図４／ＳＴＥＰ４１‥ＹＥＳ）、画像形成ユニット１は、対象物が接近判定領域内に存在するか否かを判定する（図４／ＳＴＥＰ４２）。そして、対象物が接近判定領域内に存在しない場合（図４／ＳＴＥＰ４２‥ＮＯ）、画像形成ユニット１は、対象物が接近判定領域内に侵入して自車両１０と接触する可能性があるか否かを判定する（図４／ＳＴＥＰ４３）。具体的には、対象物が侵入判定領域に存在し、かつ、ＳＴＥＰ２３で求めた対象物の移動ベクトルが接近判定領域に向かっているときに、接触する可能性が高いと判定する。

一方、対象物が接近判定領域内に存在している場合（図４／ＳＴＥＰ４２‥ＹＥＳ）、または対象物が接近判定領域内に侵入して自車両１０と接触する可能性がある場合（図４／ＳＴＥＰ４３‥ＹＥＳ）、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（図４／ＳＴＥＰ４４）。人工構造物判定処理は、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定する。次いで、対象物は人工構造物ではないと判定された場合（図４／ＳＴＥＰ４４‥ＮＯ）、対象物が歩行者に該当するか否かが判定される（図４／ＳＴＥＰ４５）。具体的には、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者に該当するか否かが判定される。そして、対象物が歩行者に該当すると判定された場合（図４／ＳＴＥＰ４５‥ＹＥＳ）、検出した対象物を通報または注意喚起の対象として決定する（図４／ＳＴＥＰ４６）。

また、対象物が人工構造物であると判定された場合（図４／ＳＴＥＰ４４‥ＹＥＳ）または対象物が歩行者ではないと判定された場合（図４／ＳＴＥＰ４５‥ＮＯ）、この対象物が四足動物に該当するか否かが判定される（図４／ＳＴＥＰ４７）。対象物が四足動物に該当すると判定された場合（図４／ＳＴＥＰ４７‥ＹＥＳ）、画像処理ユニット１は、検出した対象物を通報の対象として決定する（図４／ＳＴＥＰ４６）。その一方、対象物が四足動物に該当しないと判定された場合（図４／ＳＴＥＰ４７‥ＮＯ）、画像処理ユニット１は、検出した対象物を通報の対象から除外される（図４／ＳＴＥＰ４８）。

次に、本発明の車両周辺監視装置の主要な機能である動物判定処理について図５のフローチャートを用いて説明する。対象物抽出手段（図３／ＳＴＥＰ１１〜１８参照）により抽出された対象物領域Ｓから、要素領域群が抽出されるか否かが判定される。具体的にはメモリにあらかじめ保存または格納されているテンプレートと、対象物領域Ｓにおける高輝度画像領域の一部または全部との相関値が基準値を超えているか否かに応じて、当該高輝度画像領域の一部または全部が第１〜第３要素領域群のうちいずれか１つに該当するか否かが判定される。テンプレートとしては、第１の要素領域群Ｅ１を抽出するための第１種のテンプレートＴ１と、第２の要素領域群Ｅ２を抽出するための第２種のテンプレートＴ２と、第３の要素領域群Ｅ３を抽出するための第３種のテンプレートＴ３とが準備されている。なお、対象物領域Ｓから抽出された高輝度領域が細線化処理された上で得られた細線化画像の形状および配置態様に基づき、各要素領域群Ｅ１〜Ｅ３が抽出されてもよい。

第１の対象物領域群Ｅ１は図６（ａ）に示されているように下方に向かうにつれて間隔が広がるように配置されている横並びの１対の要素領域（上下方向または上下方向に対して傾斜している方向にのびる形状を有している。以下同じ。）Ｅ１ａおよびＥ１ｂと、その横に並んでいる、下方に向かうにつれて間隔が広がるように配置されている横並びのもう１対の要素領域Ｅ１ｃおよびＥ１ｄとからなる。第２の要素領域群Ｅ２は図６（ｂ）に示されているように１つの要素領域Ｅ２ａと、その横に並ぶ下方に向かうにつれて間隔が広がるように配置されている１対の要素領域Ｅ２ｂおよびＥ２ｃとからなる。第３の要素領域群Ｅ３は図６（ｃ）に示されているように下方に向かうにつれて間隔が広がるように配置された１対の要素領域Ｅ３ａおよびＥ３ｂと、その横に並ぶ１つの要素領域Ｅ３ｃとからなる。なお、図６（ｂ）に示されている要素領域群が第３の要素領域群Ｅ３として定められ、図６（ｃ）に示されている要素領域群が第２の要素領域群Ｅ２として定められてもよい。

第１種のテンプレートＴ１は図７（ａ）に示されているように下方に向かうにつれて間隔が広がるように配置されている横並びの１対の基準要素（上下方向または上下方向に対して傾斜している方向にのびる形状を有している。以下同じ。）Ｔ１ａおよびＴ１ｂと、その横に並んでいる、下方に向かうにつれて間隔が広がるように配置されている横並びのもう１対の基準要素Ｔ１ｃおよびＴ１ｄとからなる。第２種のテンプレートＴ２は図７（ｂ）に示されているように１つの基準要素Ｔ２ａと、その横に並ぶ下方に向かうにつれて間隔が広がるように配置されている１対の基準要素Ｔ２ｂおよびＴ２ｃとからなる。第３種のテンプレートＴ３は図７（ｃ）に示されているように下方に向かうにつれて間隔が広がるように配置されている１対の基準要素Ｔ３ａおよびＴ３ｂと、その横に並ぶ１つの基準要素Ｔ３ｃとからなる。なお、図７（ｂ）に示されているテンプレートが第３種のテンプレートＴ３として定められ、図７（ｃ）に示されているテンプレートが第２種のテンプレートＴ２として定められてもよい。各種テンプレートとして、基準要素の形状、サイズおよび配置（間隔など）のうち一部または全部が異なる複数パターンのテンプレートが準備されていてもよい。テンプレートは赤外線カメラ２Ｒ、２Ｌにより撮像された、横向きの犬、鹿、馬等の特定種類の四足動物の画像に基づいて作成されてもよい。

まず、対象物領域Ｓから第１要素領域群Ｅ１が抽出されたか否かが判定される（図５／ＳＴＥＰ１０２）。第１要素領域群Ｅ１が抽出されたと判定された場合（図５／ＳＴＥＰ１０２‥ＹＥＳ）、対象物領域Ｓから第２要素領域群Ｅ２が抽出されたか否かが判定される（図５／ＳＴＥＰ１０４）。なお、ＳＴＥＰ１０２において第２の要素領域群Ｅ２が抽出されたか否かが判定された上で、ＳＴＥＰ１０４において第１の要素領域群Ｅ１が抽出されたか否かが判定されてもよい。第２の要素領域群Ｅ２が抽出されていないと判定された場合（図５／ＳＴＥＰ１０４‥ＮＯ）、第１の要素領域群Ｅ１が抽出されたと判定されてから第１の所定時間が経過したか否かが判定される（図５／ＳＴＥＰ１１０）。第１の所定時間は四足動物の標準的な歩行周期の約０．２５倍等、四足動物の標準的な歩行周期を基準として設定されている。当該判定結果が否定的である場合（図５／ＳＴＥＰ１１０‥ＮＯ）、対象物領域Ｓから第２要素領域群Ｅ２が抽出されたか否かが再び判定される（図５／ＳＴＥＰ１０４）。

第２の要素領域群Ｅ２が抽出されたと判定された場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、対象物領域Ｓから第３の要素領域群Ｅ３が抽出されたか否かが判定される（図５／ＳＴＥＰ１０６）。第３の要素領域群Ｅ３が抽出されていないと判定された場合（図５／ＳＴＥＰ１０６‥ＮＯ）、第２の要素領域群Ｅ２が抽出されたと判定されてから第２の所定時間が経過したか否かが判定される（図５／ＳＴＥＰ１１２）。第２の所定時間は第１の所定時間の約２倍に設定される等、第１の所定時間より長く設定されている。なお、ＳＴＥＰ１０２において第２の要素領域群Ｅ２が抽出されたか否かが判定され、ＳＴＥＰ１０４において第１の要素領域群Ｅ１が抽出されたか否かが判定される場合、第２の所定時間は第１の所定時間と同様に四足動物の標準的な歩行周期に基づいて設定される。当該判定結果が否定的である場合（図５／ＳＴＥＰ１１２‥ＮＯ）、対象物領域Ｓから第３の要素領域群Ｅ３が抽出されたか否かが再び判定される（図５／ＳＴＥＰ１０６）。

第３の要素領域群Ｅ３が抽出されたと判定された場合（図５／ＳＴＥＰ１０６‥ＹＥＳ）、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１１４）。なお、第１の要素領域群Ｅ１が抽出されたと判定されてから、第２の要素領域群Ｅ２が抽出されないまま第１の所定時間が経過した場合（図５／ＳＴＥＰ１０４‥ＮＯ、ＳＴＥＰ１１０‥ＹＥＳ）、対象物が四足動物に該当しないと判定される（図５／ＳＴＥＰ１１６）。また、第２の要素領域群Ｅ２が抽出されたと判定されてから、第３の要素領域群Ｅ３が抽出されないまま第２の所定時間が経過した場合（図５／ＳＴＥＰ１０６‥ＮＯ、ＳＴＥＰ１１２‥ＹＥＳ）、対象物が四足動物に該当しないと判定される（図５／ＳＴＥＰ１１６）。

画像処理ユニット１において、動物判定処理（ＳＴＥＰ１００〜１１６、ＳＴＥＰ２００〜２０８）の処理を実行する構成（ＣＰＵおよび関連するＲＡＭ，ＲＯＭ等）が、本発明の対象物分類手段に相当する。

前記機能を発揮する車両周辺監視装置によれば、対象物が存在する領域として抽出された対象物領域Ｓから、第１の要素領域群Ｅ１および第２の要素領域群Ｅ２が異なる時刻において抽出されたことと、さらには、第２の要素領域群Ｅ２および第３の要素領域群Ｅ３が異なる時刻において抽出されたこととを要件として、当該対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１０２，１０４，１０６，１１４参照）。第１の要素領域群Ｅ１は、前脚および後脚が開いている「第１の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い（図６（ａ）参照）。第２の要素領域群Ｅ２は、前脚および後脚のうち一方が開き、他方がほぼ揃っている「第２の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い（図６（ｂ）参照）。第３の要素領域群Ｅ３は、第２の姿勢と比較して、前脚および後脚のうち開いている一対の脚と、ほぼ揃っている一対の脚との配置が左右（四足動物にとっては前後）逆になっている「第３の姿勢」を示している横向きの四足動物の４本の脚に該当する蓋然性が高い（図６（ｃ）参照）。さらに、歩行または走行している四足動物が横から観察された場合、この四足動物の姿勢として「第１の姿勢」「第２の姿勢」および「第３の姿勢」が異なる時刻で確認される可能性が高い。これらの点に鑑みて、前記のような判定手法により撮像画像から抽出された高輝度領域により表わされる対象物が四足動物であるか否かが高精度で認識されうる。

また、第１の要素領域群Ｅ１が抽出されてから第１の所定時間以内に第２の要素領域群Ｅ２が抽出されることと、第２の要素領域群Ｅ２が抽出されてから第１の所定時間よりも長い第２の所定時間以内に第３の要素領域群Ｅ３が抽出されることとをさらなる要件として、対象物が四足動物に該当すると判定される（図５／ＳＴＥＰ１１０，１１２，１１４参照）。歩行または走行している四足動物が横から観察された場合、四足動物の姿勢が第１の姿勢から第２の姿勢に遷移するのに要する時間よりも、四足動物の姿勢が第２の姿勢から第３の姿勢に遷移するのに要する時間のほうが長くなる可能性が高い。したがって、前記のように第２の所定時間が第１の所定時間よりも長く設定されることにより、第２の要素領域群が抽出されてから、第３の要素領域群が抽出されえないほど早い段階で対象物が四足動物に該当しないと誤認される事態が回避されうる。すなわち、前記のような判定手法により対象物が四足動物であるか否かが高精度で認識されうる。

なお、第１の要素領域群Ｅ１および第２の要素領域群Ｅ２が異なる時刻において（先後を問わず）抽出されたことを要件として、対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１０２，１０４，１１４参照）。この際、必要に応じて当該異なる時刻の間隔が第１の所定時間以内であることをさらなる要件として当該対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１１０参照）。第２の要素領域群Ｅ２および第３の要素領域群Ｅ３が異なる時刻において（先後を問わず）抽出されたことのみを要件として、対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１０４，１０６，１１４参照）。この際、必要に応じて当該異なる時刻の間隔が第２の所定時間以内であることをさらなる要件として当該対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１１２参照）。第２の要素領域群Ｅ２、第１の要素領域群Ｅ１および第３の要素領域群Ｅ３が順に抽出されたことのみを要件として、対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１０２，１０４，１０６，１１４参照）。この際、第２の要素領域群Ｅ２が抽出されてから第１の要素領域群Ｅ１が抽出されるまでの時間と、第１の要素領域群Ｅ１が抽出されてから第３の要素領域群Ｅ３が抽出されるまでの時間とがともに第１の所定時間以内であることをさらなる要件として、対象物が四足動物に該当すると判定されてもよい（図５／ＳＴＥＰ１１０参照）。

なお、次のようにして対象物領域Ｓが抽出されてもよい。まず、赤外線カメラ２Ｒ、２Ｌにより撮像されＡ／Ｄ変換された赤外線画像から取得されるグレースケール画像（図３／ＳＴＥＰ１３参照）が２値化処理されることにより得られた２値化画像（図３／ＳＴＥＰ１４参照）から抽出された高輝度領域（対象物）を包含する領域が第１対象物領域Ｓ１として抽出される（図８／ＳＴＥＰ２０２）。これにより、図９（ａ）に示されているように、対象物の高輝度領域（対象物を表わす第１閾値以上の輝度の第１高輝度領域に含まれる、第１閾値より大きい第２閾値以上の輝度の第２高輝度領域）を囲む、斜線が付された矩形状の領域が第１対象物領域Ｓ１として抽出される。第１対象物領域Ｓ１の横幅Ｗを縦幅Ｈで割った値である縦横比Ｗ／Ｈが１以上であることが、対象物が四足動物に該当すると判定されるための追加要件とされていてもよい。第１対象物領域Ｓ１は、横向きの四足動物の胴部に相当する可能性がある。

続いて、第１の対象物領域Ｓ１を基準として基準領域Ａが抽出される（図８／ＳＴＥＰ２０４）。これにより、図９（ｂ）に示されているような破線で囲まれている領域が基準領域Ａとして抽出される。基準領域Ａの上端位置は第１対象物領域Ｓ１の上端位置と一致している。基準領域Ａの高さは、第１対象物領域Ｓ１の高さＨの３倍の高さに設定されている。基準領域Ａの左端位置は第１対象物領域Ｓ１の左端位置よりも所定のマージンＭＡＲＧＩＮ＿Ｗだけ左側にあり、基準領域Ａの右端位置は第１対象物領域Ｓ１の右端位置よりも所定のマージンＭＡＲＧＩＮ＿Ｗ（余裕）だけ右側にある。なお、基準領域Ａの上端位置は第１の対象物領域Ｓ１の上端位置より下方に位置していてもよい。

さらに、基準領域Ａから第２対象物領域Ｓ２が対象物領域Ｓとして抽出される（図８／ＳＴＥＰ２０６）。具体的には、基準領域Ａにおいて縦方向および横方向のそれぞれを走査方向としてエッジ画素が抽出される。エッジ画素は２値化画像における輝度が「０」から「１」になる箇所である。基準領域Ａにおいて最も上で水平方向またはほぼ水平方向（縦２〜３画素分のずれ）に並ぶ所定個数以上の一連の縦エッジ画素群の位置が図９（ｃ）に示されているように脚部上端位置として抽出される。また、基準領域Ａにおいて最も下で水平方向またはほぼ水平方向（縦２〜３画素分のずれが許容されている。）に並ぶ所定個数以上の一連の縦エッジ画素群の位置が図９（ｃ）に示されているように脚部下端位置として抽出される。さらに、基準領域Ａにおいて最も左または右で鉛直方向またはほぼ鉛直方向（横２〜３画素分のずれが許容されている。）に並ぶ所定個数以上の一連の横エッジ画素群の位置が図９（ｃ）に示されているように脚部左右端位置が抽出される。そして、図９（ｃ）に示されているように第１対象物領域Ｓ１の下方において、脚部下端位置および脚部上端位置を示す一対の水平線と、脚部左右端位置を示す一対の垂直線とにより囲まれた領域が第２対象物領域Ｓ２として抽出される。なお、第１対象物領域Ｓ１の下方にメモリに格納されている所定形状の第２対象物領域Ｓ２が抽出されてもよい。

その後、前記実施形態と同様に、第２対象物領域Ｓ２として抽出された対象物領域Ｓから要素領域群が抽出されたか否かが判定されることにより、対象物が四足動物に該当するか否かが判定されうる（図５／ＳＴＥＰ１０２〜１１４、図６、図７参照）。この場合も、前記実施形態と同様に、歩行または走行中の横向きの四足物の姿勢変化態様に鑑みて、対象物が四足動物であるか否かが高精度で認識されうる。

本発明の車両周辺監視装置の一実施形態の全体構成を示す図 車両周辺監視装置が搭載されている車両の斜視図 車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート 車両周辺監視装置を構成する画像処理ユニットの機能を示すフローチャート 本実施形態における対象物種別判定処理を示すフローチャート 要素領域群に関する説明図 テンプレートに関する説明図 本実施形態における脚部領域抽出処理を示すフローチャート 画像処理ユニットの処理を説明するための図

符号の説明

１…画像処理ユニット（対象物抽出手段、対象物判定手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）

Claims (5)

1. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記撮像画像から、対象物を表わす第１閾値以上の輝度の第１高輝度領域に含まれる前記第１閾値より大きい第２閾値以上の輝度の第２高輝度領域により構成される第１対象物領域を抽出し、前記第１対象物領域下方の前記対象物の一部が存在する領域である第２対象物領域を対象物領域として抽出する対象物領域抽出手段と、
   前記対象物領域抽出手段により抽出された前記第１対象物領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域抽出手段により抽出された前記対象物領域から、上下方向または上下方向に対して傾斜している方向にのび、かつ、下方に向かうにつれて間隔が広がるように配置されている横並びの２対の要素領域からなる第１の要素領域群、および、下方に向かうにつれて間隔が広がるように配置されている横並びの１対の前記要素領域とその横に並ぶ１つの前記要素領域とからなる第２の要素領域群が異なる時刻において抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記対象物分類手段が、前記第２の要素領域群と、前記第２の要素領域群と比較して左右逆に並ぶ下方に向かうにつれて間隔が広がるように配置されている横並びの前記１対の要素領域および前記１つの要素領域からなる第３の要素領域群とが異なる時刻に抽出されることをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする車両周辺監視装置。
3. 請求項２記載の車両周辺監視装置において、
   前記対象物分類手段が、前記第１の要素領域群が抽出されてから第１の所定時間以内に前記第２の要素領域群が抽出されることと、前記第２の要素領域群が抽出されてから前記第１の所定時間より長い第２の所定時間以内に前記第３の要素領域群が抽出されることとをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする車両周辺監視装置。
4. 車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
   前記撮像画像から、対象物を表わす第１閾値以上の輝度の第１高輝度領域に含まれる前記第１閾値より大きい第２閾値以上の輝度の第２高輝度領域により構成される第１対象物領域を抽出し、前記第１対象物領域下方の前記対象物の一部が存在する領域である第２対象物領域を対象物領域として抽出する対象物領域抽出手段と、
   前記対象物領域抽出手段により抽出された前記第１対象物領域の縦幅に対する横幅の比率が１以上であることと、前記対象物領域抽出手段により抽出された前記対象物領域から、上下方向または上下方向に対して傾斜している方向にのび、かつ、下方に向かうにつれて間隔が広がるように配置されている横並びの１対の要素領域と、前記１対の要素領域の横に並ぶ１つの前記要素領域とからなる第２の要素領域群と、前記第２の要素領域群と比較して左右逆に並ぶ前記１対の要素領域および前記１つの要素領域からなる第３の要素領域群とが異なる時刻に抽出されることとを要件として、前記対象物が四足動物に該当すると判定する対象物分類手段とを有することを特徴とする車両周辺監視装置。
5. 請求項４記載の車両周辺監視装置において、
   前記対象物分類手段が、前記第２の要素領域群が抽出されてから前記第３の要素領域群が抽出される間に、前記第２対象物領域から下方に向かうにつれて間隔が広がるように配置されている横並びの２対の前記要素領域からなる第１の要素領域群が抽出されることをさらなる要件として、前記対象物が前記四足動物に該当すると判定することを特徴とする車両周辺監視装置。

Images