JP2003016429A

JP2003016429A - 車両周辺監視装置

Info

Publication number: JP2003016429A
Application number: JP2001197312A
Authority: JP
Inventors: Shinji Nagaoka; 伸治長岡; Takayuki Tsuji; 孝之辻; Masato Watanabe; 正人渡辺; Hiroshi Hattori; 弘服部; Kozo Shimamura; 考造嶋村
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-06-28
Filing date: 2001-06-28
Publication date: 2003-01-17
Also published as: US20090046151A1; US20030007074A1; US8144195B2; DE10228638B4; DE10228638A1

Abstract

(57)【要約】【課題】車両に備えた撮像手段により撮影された赤外
線画像から、基準画像を用いた形状判定により人工構造
物を除外し、残された対象物を歩行者や動物等の動く物
体として検出する車両周辺監視装置を提供する。【解決手段】車両に備える赤外線カメラ２Ｒ、２Ｌに
より撮影した赤外線画像から、該車両の周辺に存在する
物体を検出する車両周辺監視装置であって、画像処理ユ
ニット１は、赤外線画像から赤外線を発する対象物画像
を抽出する対象物抽出手段と、対象物抽出手段の抽出し
た対象物画像と直線パタン、あるいは直角パタンからな
る基準画像との照合により、該対象物が人工構造物であ
るか否かを判定する人工構造物判定手段とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、車両の周辺に存
在する他車両や歩行者、更に動物等の物体を検出する車
両周辺監視装置に関する。

【０００２】

【従来の技術】従来、車両に備えた撮像手段により撮影
された赤外線画像から、車両の周辺に存在する歩行者や
動物等の動く物体を検出する周辺監視装置としては、例
えば特開２００１−６０６９号公報に示すようなものが
知られている。この周辺監視装置は、２つの赤外線カメ
ラにより得られる画像から、車両周辺の対象物と該車両
との距離を算出し、更に、時系列に求められる対象物の
位置データから該対象物の移動ベクトルを算出してい
る。そして、車両の進行方向と対象物の移動ベクトルの
関係から、該車両と衝突する可能性の高い対象物を検出
する。また、特開２００１−１０８７５８号公報には、
車両に備えた撮像手段により撮影された赤外線画像か
ら、歩行者の体温とは明らかに異なる温度を示す領域を
除外して対象物を検出する技術が開示されている。この
技術では、歩行者の体温とは明らかに異なる温度を示す
領域を除外した部分から抽出された対象物に対し、更に
その対象物の縦横比を判定することで、該対象物が歩行
者であるか否かを決定している。

【０００３】

【発明が解決しようとする課題】しかし、上述のような
従来の周辺監視装置においては、赤外線を発する対象物
を検出することはできるものの、自動販売機のように自
ら熱を発生しているものや、日中の太陽の日差しによっ
て暖められた電柱や街灯のポール等、自車両の走行上に
おいて重要度の低い、歩行者や動物以外の物体を検出し
てしまうという問題があった。特に、歩行者の体温と同
程度の温度を持ち、歩行者と同じように縦長の形状をし
ているような物体は、全く歩行者との見分けがつかない
という問題があった。更に、不確定な形状を持つ歩行者
や動物を、それ自身の形状判別により対象物の中から抽
出しようとすると、検出精度の向上が難しいという問題
があった。

【０００４】本発明は、上記課題に鑑みてなされたもの
で、車両に備えた撮像手段により撮影された赤外線画像
から、基準画像を用いた形状判定により人工構造物を除
外し、残された対象物を歩行者や動物等の動く物体とし
て検出する車両周辺監視装置を提供することを目的とす
る。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、請求項１に記載の発明は、撮像手段により撮影され
た赤外線画像から、車両の周辺に存在する物体を検出す
る車両周辺監視装置であって、前記赤外線画像から赤外
線を発する対象物を抽出する対象物抽出手段（例えば実
施の形態のステップＳ１〜Ｓ７）と、前記対象物抽出手
段により抽出された対象物の画像を、人工構造物を特定
する要素となる基準画像と照合し、該対象物が人工構造
物であるか否かを判定する人工構造物判定手段（例えば
実施の形態のステップＳ２５〜Ｓ２８）とを設けたこと
を特徴とする。以上の構成により、撮像手段により撮影
した赤外線画像中に存在する複数の熱を発生する物体に
ついて、その物体の画像と基準画像との照合を行い、そ
の物体が決まった形状を持つ人工構造物であるか、それ
以外の歩行者や動物等の動く物体であるかを区別するこ
とが可能となる。

【０００６】請求項２に記載の発明は、請求項１に記載
の車両周辺監視装置において、前記人工構造物判定手段
により人工構造物であると判定された対象物を、前記対
象物抽出手段により抽出された対象物から除外する人工
構造物除外手段（例えば実施の形態のステップＳ３０）
を含むことを特徴とする。以上の構成により、より注意
を払うべき人工構造物以外の対象物を抽出するために、
赤外線画像から抽出した対象物の中から人工構造物を除
外し、残った対象物を動く物体として認識することが可
能となる。

【０００７】請求項３に記載の発明は、請求項１、また
は請求項２に記載の車両周辺監視装置において、前記基
準画像は、直線部位を表す画像を含み、前記人工構造物
判定手段は、直線部位を含む対象物を人工構造物と判定
することを特徴とする。以上の構成により、対象物の中
に人工構造物の特徴となりやすい直線部位があるか否か
を判定することで、直線部位を持つ対象物を人工構造物
として除外し、人工構造物以外の対象物を認識すること
が可能となる。

【０００８】請求項４に記載の発明は、請求項１から請
求項３のいずれかに記載の車両周辺監視装置において、
前記人工構造物判定手段は、前記基準画像の大きさを前
記車両と前記対象物との距離に合わせて変更する基準画
像寸法変更手段（例えば実施の形態のステップＳ３２、
Ｓ５２、Ｓ７２）を含むことを特徴とする。以上の構成
により、対象物と車両との距離により発生する対象物画
像と基準画像との大きさのずれを補正し、適切な大きさ
によって両者を照合することで、対象物が人工構造物で
あるか否かの検出精度を向上させることが可能となる。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の車両周辺監視装置の構成を示すブロック図であ
る。図１において、符号１は、本実施の形態の車両周辺
監視装置を制御するＣＰＵ（中央演算装置）を備えた画
像処理ユニットであって、遠赤外線を検出可能な２つの
赤外線カメラ２Ｒ、２Ｌと当該車両の車体の傾きを検出
するヨーレートセンサ３、更に、当該車両の走行速度
（車速）を検出する車速センサ４とブレーキの操作を検
出するためのブレーキセンサ５が接続される。これによ
り、画像処理ユニット１は、車両の周辺の赤外線画像と
車両の走行状態を示す信号から、車両前方の歩行者や動
物等の動く物体を検出し、衝突の可能性が高いと判断し
たときに警報を発する。

【００１０】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２
Ｌにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。

【００１１】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号
などを出力する出力回路を備えており、赤外線カメラ２
Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレ
ーキセンサ５の各出力信号は、ディジタル信号に変換さ
れてＣＰＵに入力されるように構成されている。

【００１２】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対象な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。

【００１３】次に、本実施の形態の動作について図面を
用いて説明する。図３は、本実施の形態の車両周辺監視
装置の画像処理ユニット１における処理手順を示すフロ
ーチャートである。まず、画像処理ユニット１は、赤外
線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得
して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ
２）、グレースケール画像を画像メモリに格納する（ス
テップＳ３）。なお、ここでは赤外線カメラ２Ｒにより
右画像が得られ、赤外線カメラ２Ｌにより左画像が得ら
れる。また、右画像と左画像では、同一の対象物の表示
画面上の水平位置がずれて表示されるので、このずれ
（視差）によりその対象物までの距離を算出することが
できる。

【００１４】次に、赤外線カメラ２Ｒにより得られた右
画像を基準画像とし、その画像信号の２値化処理、すな
わち、輝度閾値ＩＴＨより明るい領域を「１」（白）と
し、暗い領域を「０」（黒）とする処理を行う（ステッ
プＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得ら
れたグレースケール画像を示し、これに２値化処理を行
うことにより、図４（ｂ）に示すような画像を得る。な
お、図４（ｂ）において、例えばＰ１からＰ４の枠で囲
った物体を、表示画面上に白色として表示される対象物
（以下「高輝度領域」という）とする。赤外線画像から
２値化された画像データを取得したら、２値化した画像
データをランレングスデータに変換する処理を行う（ス
テップＳ５）。

【００１５】図５（ａ）は、これを説明するための図で
あり、この図では２値化により白となった領域を画素レ
ベルでラインＬ１〜Ｌ８として示している。ラインＬ１
〜Ｌ８は、いずれもｙ方向には１画素の幅を有してお
り、実際にはｙ方向には隙間なく並んでいるが、説明の
ために離間して示している。またラインＬ１〜Ｌ８は、
ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、
７画素、８画素、８画素、８画素の長さを有している。
ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの
開始点（各ラインの左端の点）の座標と、開始点から終
了点（各ラインの右端の点）までの長さ（画素数）とで
示したものである。例えばラインＬ３は、（ｘ３，ｙ
５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素から
なるので、ランレングスデータとしては、（ｘ３，ｙ
５，３）となる。

【００１６】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
Ｌ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に
重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１と
みなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、
ランレングスデータに対象物ラベル１、２を付加する。
この処理により、例えば図４（ｂ）に示す高輝度領域
が、それぞれ対象物１から４として把握されることにな
る。

【００１７】対象物の抽出が完了したら、次に、図５
（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ
及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出
する（ステップＳ８）。ここで、面積Ｓは、ランレング
スデータの長さを同一対象物について積算することによ
り算出する。また、重心Ｇの座標は、面積Ｓをｘ方向に
２等分する線のｘ座標と、ｙ方向に２等分する線のｙ座
標として算出する。更に、縦横比ＡＰＥＣＴは、図５
（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出す
る。なお、重心Ｇの位置は、外接四角形の重心位置で代
用してもよい。

【００１８】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、図６
（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場
合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物
Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一
性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと
対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄを
それぞれ対象物Ａ、Ｂというラベルに変更することによ
り、時刻間追跡が行われる。

【００１９】１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋
１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ
（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、そ
れぞれｘ方向及びｙ方向の画像上の移動量の許容値であ
る。２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上
での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対
象物ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）
としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳで
あること。ただし、ΔＳは面積変化の許容値である。
３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形
の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）
における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比を
ＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ
（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣ
Ｔであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の
許容値である。

【００２０】例えば、図６（ａ）と（ｂ）とを対比する
と、各対象物は画像上での大きさが大きくなっている
が、対象物Ａと対象物Ｃとが上記同一性判定条件を満た
し、対象物Ｂと対象物Ｄとが上記同一性判定条件を満た
すので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識さ
れる。このようにして認識された各対象物の（重心の）
位置座標は、時系列位置データとしてメモリに格納さ
れ、後の演算処理に使用される。なお、以上説明したス
テップＳ４〜Ｓ９の処理は、２値化した基準画像（本実
施形態では、右画像）ついて実行する。次に、車速セン
サ４により検出される車速ＶＣＡＲ及びヨーレートセン
サ３より検出されるヨーレートＹＲを読み込み、ヨーレ
ートＹＲを時間積分することより、図７に示すように自
車両１０の回頭角θｒを算出する（ステップＳ１０）。

【００２１】一方、ステップＳ９とステップＳ１０の処
理に平行して、ステップＳ１１〜Ｓ１３では、対象物と
自車両１０との距離ｚを算出する処理を行う。この演算
はステップＳ９、及びステップＳ１０より長い時間を要
するため、ステップＳ９、Ｓ１０より長い周期（例えば
ステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で
実行される。まず、基準画像（右画像）の２値化画像に
よって追跡される対象物の中の１つを選択することによ
り、図８（ａ）に示すように右画像から探索画像Ｒ１
（ここでは、外接四角形で囲まれる領域全体を探索画像
とする）を抽出する（ステップＳ１１）。

【００２２】次に、左画像中から探索画像に対応する画
像（以下「対応画像」という）を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する（ステッ
プＳ１２）。具体的には、図８（ｂ）に示すように、探
索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域
Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関
の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式
（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、２値化画像ではなくグレースケール画像を用いて
行う。また同一対象物についての過去の位置データがあ
るときは、その位置データに基づいて探索領域Ｒ２より
狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域
として設定する。

【数１】ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内
の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ
−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を
基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内
の座標（ｍ，ｎ）の位置の輝度値である。基点の座標
（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が
最小となる位置を求めることにより、対応画像の位置が
特定される。

【００２３】ステップＳ１２の処理により、図１０に示
すように探索画像Ｒ１と、この対象物に対応する対応画
像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心
位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及
び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距
離ｄＬ（画素数）を求め、下記式（２）に適用して、自
車両１０と、対象物との距離ｚを算出する（ステップＳ
１３）。

【数２】ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中
心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との
水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは
赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外
線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔であり、Δ
ｄ（＝ｄＲ＋ｄＬ）が視差量である。

【００２４】ステップＳ１０における回頭角θｒの算出
と、ステップＳ１３における対象物との距離算出が完了
したら、画像内の座標（ｘ，ｙ）及び式（２）により算
出した距離ｚを下記式（３）に適用し、実空間座標
（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。ここ
で、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、
赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置
（自車両１０に固定された位置）を原点Ｏとして、図示
のように定め、画像内の座標は、画像の中心を原点とし
て水平方向をｘ、垂直方向をｙと定めている。

【数３】ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）
を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏ
との相対位置関係に基づいて、実空間原点Ｏと画像の中
心とを一致させた仮想的な画像内の座標に変換したもの
である。またｆは、焦点距離Ｆと画素間隔ｐとの比であ
る。

【００２５】また、実空間座標が求められたら、自車両
１０が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う（ステップＳ１５）。回頭角補
正は、図７に示すように、時刻ｋから（ｋ＋１）までの
期間中に自車両１０が例えば左方向に回頭角θｒだけ回
頭すると、カメラによって得られる画像上では、図１１
に示すようにΔｘだけｘ方向にずれるので、これを補正
する処理である。具体的には、下記式（４）に実空間座
標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，
Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，
Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納す
る。なお、以下の説明では、回頭角補正後の座標を
（Ｘ，Ｙ，Ｚ）と表示する。

【数４】

【００２６】実空間座標に対する回頭角補正が完了した
ら、次に、同一対象物について、ΔＴのモニタ期間内に
得られた、回頭角補正後のＮ個の実空間位置データ（例
えばＮ＝１０程度）、すなわち時系列データから、対象
物と自車両１０との相対移動ベクトルに対応する近似直
線ＬＭＶを求める（ステップＳ１６）。具体的には、近
似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌ
ｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表
される直線を求める。

【数５】ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、
Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列の
Ｘ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値
である。なお、式（５）は媒介変数ｕを消去すれば下記
式（５ａ）のようになる。（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ・・・（５ａ）

【００２７】また、例えばＰ（０），Ｐ（１），Ｐ
（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正
後の時系列データを示す場合、近似直線ＬＭＶは、この
時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａ
ｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平
均値が最小となるような直線として求められる。ここ
で、各データ点の座標を示すＰに付した（）内の数値は
その値が増加するほど過去のデータであることを示す。
例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サン
プル周期前の位置座標、Ｐ（２）は２サンプル周期前の
位置座標を示す。

【００２８】次いで、最新の位置座標Ｐ（０）＝（Ｘ
（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル
前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−
１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ
上の位置に補正する。具体的には、前記式（５ａ）にＺ
座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、す
なわち下記式（６）により、補正後の位置座標Ｐｖ
（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及び
Ｐｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），
Ｚｖ（Ｎ−１））を求める。

【数６】

【００２９】式（８）で算出された位置座標Ｐｖ（Ｎ−
１）からＰｖ（０）に向かうベクトルとして、相対移動
ベクトルが得られる。このようにモニタ期間ΔＴ内の複
数（Ｎ個）のデータから対象物の自車両１０に対する相
対移動軌跡を近似する近似直線を算出して相対移動ベク
トルを求めることにより、位置検出誤差の影響を軽減し
て対象物との衝突の可能性をより正確に予測することが
可能となる。また、ステップＳ１６において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定し、その可能性が高いときに警報を発
する警報判定処理を実行する（ステップＳ１７）。な
お、警報判定処理を終了したら、ステップＳ１へ戻り、
上述の処理を繰り返す。

【００３０】次に、図１２に示すフローチャートを用い
て、図３に示したフローチャートのステップＳ１７にお
ける警報判定処理について説明する。ここでは、図１４
に示すように、自車両１０の進行方向に対してほぼ９０
°の方向から、速度Ｖｐで進行してくる動物２０がいる
場合を例に取って説明する。まず、画像処理ユニット１
は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から
距離Ｚｖ（０）に接近したことにより、下記式（７）を
用いてＺ方向の相対速度Ｖｓを算出し、衝突判定処理を
行う（ステップＳ２１）。衝突判定処理は、下記式
（８）及び（９）が成立するとき、衝突の可能性がある
と判定する処理である。ステップＳ２１において、動物
２０との衝突の可能性があると判定した場合（ステップ
Ｓ２１のＹＥＳ）、次のステップＳ２２に進む。

【００３１】また、ステップＳ２１において、式（８）
及び／または式（９）が不成立のときは、動物２０との
衝突の可能性がないと判定し（ステップＳ２１のＮ
Ｏ）、警報判定処理を終了する。Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ・・・（７）Ｚｖ（０）／Ｖｓ≦Ｔ・・・（８）｜Ｙｖ（０）｜≦Ｈ・・・（９）

【００３２】ここで、Ｚｖ（０）は最新の距離検出値
（ｖは近似直線ＬＭＶによる補正後のデータであること
を示すために付しているが、Ｚ座標は補正前と同一の値
である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離
検出値である。またＴは、余裕時間であり、衝突の可能
性を予測衝突時刻より時間Ｔだけ前に判定することを意
図したものであり、例えば２〜５秒程度に設定される。
またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する
所定高さであり、例えば自車両１０の車高の２倍程度に
設定される。

【００３３】衝突判定処理が完了したら、次に、対象物
が接近領域判定内か否かを判定する（ステップＳ２
２）。例えば、図１３は、赤外線カメラ２Ｒ、２Ｌで監
視可能な領域を太い実線で示す外側の三角形の領域ＡＲ
０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自
車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判
定領域としている。ここで、領域ＡＲ１は、自車両１０
の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度
とする）を加えた範囲に対応する領域、換言すれば自車
両１０の車幅方向中心部の軸の両側に（α／２＋β）の
幅を有する領域であって、対象物がそのまま存在し続け
れば衝突の可能性がきわめて高いので、接近判定領域と
呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標
の絶対値が大きい（接近判定領域の横方向外側の）領域
であり、この領域内にある対象物については、後述する
侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこ
れらの領域は、前記式（９）に示したようにＹ方向に
は、所定高さＨを有する。

【００３４】前記ステップＳ２１の答が肯定（ＹＥＳ）
となるのは、対象物が接近判定領域ＡＲ１または侵入判
定領域ＡＲ２，ＡＲ３のいずれかに存在する場合であ
る。続くステップＳ２２では、対象物が接近判定領域Ａ
Ｒ１内にあるか否かを判別し、対象物が接近判定領域Ａ
Ｒ１内にあると判定された場合（ステップＳ２２のＹＥ
Ｓ）、直ちにステップＳ２４に進む。一方、対象物が接
近判定領域ＡＲ１内にないと判定された場合（ステップ
Ｓ２２のＮＯ）、侵入衝突判定処理を行う（ステップＳ
２３）。

【００３５】ステップＳ２３の侵入衝突判定処理は、具
体的には、画像上での最新のｘ座標であるｘｃ（０）
（文字ｃは前述したように画像の中心位置を実空間原点
Ｏに一致させる補正を行った座標であることを示すため
に付している）と、時間ΔＴ前のｘ座標であるｘｃ（Ｎ
−１）との差が下記式（１０）を満たすか否かを判別
し、満たす場合に衝突の可能性が高いと判定する。

【数７】

【００３６】なお、図１４に示すように、自車両１０の
進行方向に対してほぼ９０°の方向から進行してくる動
物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝
Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の
速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー
１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物
２０を見る方位角θｄは一定となり、衝突の可能性が高
い。式（１０）は、この可能性を自車両１０の車幅αを
考慮して判定するものである。ステップＳ２３におい
て、衝突の可能性が高いと判定した場合（ステップＳ２
３のＹＥＳ）、ステップＳ２４に進む。一方、衝突の可
能性が低いと判定した場合（ステップＳ２３のＮＯ）、
警報判定処理を終了する。

【００３７】ステップＳ２４では、以下のようにして警
報出力判定処理、すなわち警報出力を行うか否かの判定
を行う（ステップＳ２４）。警報出力判定処理は、まず
ブレーキセンサ５の出力ＢＲから自車両１０の運転者が
ブレーキ操作を行っているか否かを判別する。もし、自
車両１０の運転者がブレーキ操作を行っている場合に
は、それによって発生する加速度Ｇｓ（減速方向を正と
する）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより
大きいときは、ブレーキ操作により衝突が回避されると
判定して警報判定処理を終了する。これにより、適切な
ブレーキ操作が行われているときは、警報を発しないよ
うにして、運転者に余計な煩わしさを与えないようにす
ることができる。また、加速度Ｇｓが所定閾値ＧＴＨ以
下であるとき、または自車両１０の運転者がブレーキ操
作を行っていなければ、直ちにステップＳ２５以降の処
理に進んで、対象物の形状判定を行う。なお、所定閾値
ＧＴＨは、下記式（１１）のように定める。これは、ブ
レーキ操作中の加速度Ｇｓがそのまま維持された場合
に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止
する条件に対応する値である。

【数８】

【００３８】ステップＳ２５以降の対象物の形状判定に
は、対象物の画像に直線部位を示す部分が含まれるか否
か（ステップＳ２５）、対象物の画像の角が直角である
か否か（ステップＳ２６）、対象物の画像が予め登録さ
れた人口構造物の形状と一致するか否か（ステップＳ２
７）、対象物の画像に同じ形状のものが複数含まれてい
るか否か（ステップＳ２８）がある。最初に、対象物の
画像に直線部位を示す部分が含まれるか否かを判定する
（ステップＳ２５）。ステップＳ２５において、対象物
の画像に直線部位を示す部分が含まれない場合（ステッ
プＳ２５のＮＯ）、対象物の画像の角が直角であるか否
かを判定する（ステップＳ２６）。

【００３９】ステップＳ２６において、対象物の画像の
角が直角でない場合（ステップＳ２６のＮＯ）、対象物
の画像が予め登録された人口構造物の形状と一致するか
否かを判定する（ステップＳ２７）。ステップＳ２７に
おいて、対象物の画像が予め登録された人口構造物の形
状と一致しない場合（ステップＳ２７のＮＯ）、対象物
の画像に同じ形状のものが複数含まれているか否かを判
定する（ステップＳ２８）。また、ステップＳ２８にお
いて、対象物の画像に同じ形状のものが複数含まれてい
ない場合（ステップＳ２８のＮＯ）、対象物が歩行者や
動物である可能性が高いので、スピーカ３を介して音声
による警報を発するとともに、画像表示装置７により、
例えば赤外線カメラ２Ｒにより得られる画像を表示し、
接近してくる対象物を強調表示（例えば枠で囲んで強調
する）する（ステップＳ２９）。

【００４０】一方、ステップＳ２５において対象物の画
像に直線部位を示す部分が含まれる場合（ステップＳ２
５のＹＥＳ）、あるいはステップＳ２６において対象物
の画像の角が直角である場合（ステップＳ２６のＹＥ
Ｓ）、あるいはステップＳ２７において対象物の画像が
予め登録された人口構造物の形状と一致する場合（ステ
ップＳ２７のＹＥＳ）、更にステップＳ２８において対
象物の画像に同じ形状のものが複数含まれている場合
（ステップＳ２８のＹＥＳ）のいずれかである場合は、
対象物が人工構造物であるとして、図３のステップＳ７
において抽出した対象物から除外し（ステップＳ３
０）、警報を発することなく警報判定処理を終了する。

【００４１】次に、上述の図１２における対象物の形状
判定、特にステップＳ２５とステップＳ２６、ステップ
Ｓ２８、更にステップＳ３０における直線部位、及び直
角部位の探索処理について、その方法を図面を用いて詳
細に説明する。図１５と図１６、及び図１７、更に図２
３は、図１２におけるステップＳ２５、ステップＳ２
６、ステップＳ２８の処理とステップＳ３０の一部の処
理を、更に詳細に示すフローチャートである。直線部位
の探索において、画像処理ユニット１は、垂直直線部位
の検出（垂直直線部位判定）から開始する。図１５は、
垂直直線部位判定を示すフローチャートである。従っ
て、まず垂直直線部位を探索するために、対象物の画像
と相関演算を行うための基準画像である右直線部映像パ
タンを選択し（ステップＳ３１）、図３に示したフロー
チャートのステップＳ１３において求めた自車両１０と
対象物との距離に応じて、表示画面上に投影された実空
間の画像の大きさと釣り合うように、基準画像のパタン
サイズを決定する（ステップＳ３２）。

【００４２】ここで、基準画像のパタンサイズの決定
は、以下のように行う。すなわち、自車両１０と対象物
との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出された
場合、実空間で距離Ｌ［ｍ］の位置にある高さＡ
［ｍ」、幅Ｂ［ｍ］の対象物は、表示画面上でａ×ｂ
［ｐｉｘｅｌ］の大きさで投影される。ａ＝ｆ×Ａ／Ｌ・・・（１２）ｂ＝ｆ×Ｂ／Ｌ・・・（１３）従って、図１８（ａ）に示すように、例えば予め用意さ
れている右直線部映像パタンから、ａ×ｂ［ｐｉｘｅ
ｌ］の直線部位パタンを切り出し、右直線部切り出しパ
タン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」を基準パタンとする。同
様に、予め用意されている左直線部映像パタンから切り
出した、ａ×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタ
ン「Ｐａｔ＿Ｌｉｎｅ＿Ｌ」を図１８（ｂ）に示す。

【００４３】相関演算のための基準パタンサイズが求め
られたら、次に、対象物近傍に探索領域を設定する（ス
テップＳ３３）ここで、探索領域の設定は、以下のように行う。すなわ
ち、図１９に示すように、２値化で抽出された対象物の
輪郭（２値化対象物画像１００）は、対象物１０１の輪
郭を正確に表現しているとは限らない。従って、２値化
対象物画像（ＯＢＪ）１００の外接四角形の中心１０２
に対して、幅と高さが２値化対象物画像１００の幅と高
さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲を設定し、
これを相関演算による探索範囲１０３とする。

【００４４】次に、対象物近傍の探索範囲１０３内か
ら、相関演算により、右直線部切り出しパタン「Ｐａｔ
＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａ
ｔ）１０４を探索する（ステップＳ３４）。そして、右
直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関
度が高い部分が存在するか否かを判定する（ステップＳ
３５）。ステップＳ３５において、右直線部切り出しパ
タン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高い部分が存
在する場合（ステップＳ３５のＹＥＳ）、相関度が高い
部分と対象物１０１とが同一物体であるか否かを判定す
るために、前記式（２）による対象物の距離算出と同様
に、ＯＢＪ＿Ｐａｔ１０４の距離を算出する（ステップ
Ｓ３６）。

【００４５】なお、実際は、自車両１０と対象物１０１
との距離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐ
ａｔ１０４との距離に等しい場合、対象物１０１とＯＢ
Ｊ＿Ｐａｔ１０４は同一の物体であると判定できるの
で、距離を比較する代わりに算出された視差ΔｄとΔｄ
＿Ｐを比較することで、対象物１０１とＯＢＪ＿Ｐａｔ
１０４が同一の物体であるか否かを判定する（ステップ
Ｓ３７）。具体的には下記式（１４）を用いて、視差誤
差が許容値ＴＨより小さいか否かを判定する。｜Δｄ−
Δｄ＿Ｐ｜＜ＴＨ・・・（１４）ステップＳ３７において、対象物１０１とＯＢＪ＿Ｐａ
ｔ１０４が同一の物体であると判定された場合（ステッ
プＳ３７のＹＥＳ）、対象物１０１には垂直直線部位有
りと判定し（ステップＳ３８）、垂直直線部位を持つと
いうことは人工の道路構造物であるとして（ステップＳ
３９）、垂直直線部位判定を終了する。

【００４６】一方、ステップＳ３５において、右直線部
切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｒ」と相関度が高
い部分が存在しない場合（ステップＳ３５のＮＯ）、あ
るいはステップＳ３７において、対象物１０１とＯＢＪ
＿Ｐａｔ１０４が同一の物体であると判定されなかった
場合（ステップＳ３７のＮＯ）、ステップＳ４０へ進
み、相関演算に用いた基準パタンが左直線部映像パタン
であるか否かを判定する（ステップＳ４０）。ステップ
Ｓ４０において、相関演算に用いた基準パタンが左直線
部映像パタンでなかった場合（ステップＳ４０のＮ
Ｏ）、予め用意されている左直線部映像パタンを選択し
（ステップＳ４１）、ステップＳ３２へ戻る。

【００４７】そして、上述のステップＳ３２とステップ
Ｓ３３において、右直線部映像パタンに対して行った操
作と同じことを左直線部映像パタンに対して行い、図１
８（ｂ）に示す左直線部映像パタンから切り出した、ａ
×ｂ［ｐｉｘｅｌ］の左直線部切り出しパタン「Ｐａｔ
＿Ｌｉｎｅ＿Ｌ」を基準パタンとする。更に、ステップ
Ｓ３４において、対象物近傍の探索範囲１０３内から、
相関演算により、左直線部切り出しパタン「Ｐａｔ＿Ｌ
ｉｎｅ＿Ｌ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）１
０４を探索する。左直線部切り出しパタンによる相関演
算の結果、上述のステップＳ３５からステップＳ３９ま
での動作を行い、対象物１０１に垂直直線部位有りと判
定されると、対象物１０１は人工の道路構造物であると
して、垂直直線部位判定を終了する。また、左直線部切
り出しパタンによる相関演算の結果、再度ステップＳ４
０の判定へ進むと、既に右直線部切り出しパタンと左直
線部切り出しパタンの両方による垂直直線部位の探索が
終了しているので（ステップＳ４０のＹＥＳ）、垂直直
線部位無しと判定し（ステップＳ４２）、水平直線部位
判定へ進む。

【００４８】なお、上述の垂直直線部位判定において、
右直線部切り出しパタンと左直線部切り出しパタンの両
方によって相関演算を行い、それぞれの相関度の高い部
分の自車両１０との距離を、対象物の自車両１０との距
離と比較するのは、対象物が複数重なって１つの対象物
として認識されている場合、垂直直線部位判定において
検出された対象物の右、あるいは左の直線部位は、衝突
判定された対象物の部位ではない可能性があるためであ
る。従って、対象物の自車両１０との距離を、検出され
た対象物の右、あるいは左の直線部位の自車両１０との
距離と比較して、両者が同一の物体であるか否かを判断
する。

【００４９】次に、図１６に示すフローチャートを用い
て、水平直線部位判定について説明する。水平直線部位
判定では、まず水平直線部位を探索するために、対象物
の画像と相関演算を行うための基準画像である上端直線
部映像パタンを選択し（ステップＳ５１）、図３に示し
たフローチャートのステップＳ１３において求めた自車
両１０と対象物との距離に応じて、表示画面上に投影さ
れた実空間の画像の大きさと釣り合うように、基準画像
のパタンサイズを決定する（ステップＳ５２）。ここ
で、基準画像のパタンサイズの決定は、上述の垂直直線
部位判定と同じように行う。すなわち、自車両１０と対
象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と算出さ
れた場合、実空間で距離Ｌ［ｍ］の位置にある高さＢ
［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でｂ×ａ
［ｐｉｘｅｌ］の大きさで投影される。ｂ＝ｆ×Ｂ／Ｌ・・・（１５）ａ＝ｆ×Ａ／Ｌ・・・（１６）

【００５０】従って、図２０（ａ）に示すように、例え
ば予め用意されている上端直線部映像パタンから、ｂ×
ａ［ｐｉｘｅｌ］の直線部位パタンを切り出し、上端直
線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」を基準パ
タンとする。同様に、予め用意されている下端直線部映
像パタンから切り出した、ｂ×ａ［ｐｉｘｅｌ］の下端
直線部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を図２
０（ｂ）に示す。相関演算のための基準パタンサイズが
求められたら、次に、対象物近傍に探索領域を設定する
（ステップＳ５３）なお、探索領域の設定も、上述の垂直直線部位判定と同
じように行う。すなわち、２値化対象物画像（ＯＢＪ）
の外接四角形の中心に対して、幅と高さが２値化対象物
画像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範
囲を設定し、これを相関演算による探索範囲とする。

【００５１】次に、対象物近傍の探索範囲内から、相関
演算により、上端直線部切り出しパタン「Ｐａｔ＿Ｌｉ
ｎｅ＿Ｕ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）を探
索する（ステップＳ５４）。そして、上端直線部切り出
しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分
が存在するか否かを判定する（ステップＳ５５）。ステ
ップＳ５５において、上端直線部切り出しパタン「Ｐａ
ｔ＿Ｌｉｎｅ＿Ｕ」と相関度が高い部分が存在する場合
（ステップＳ５５のＹＥＳ）、対象物には水平直線部位
有りと判定し（ステップＳ５６）、水平直線部位を持つ
ということは人工の道路構造物であるとして（ステップ
Ｓ５７）、水平直線部位判定を終了する。

【００５２】一方、ステップＳ５５において、上端直線
部切り出しパタン「Ｐａｔ＿Ｌｉｎｅ＿Ｕ」と相関度が
高い部分が存在しない場合（ステップＳ５５のＮＯ）、
相関演算に用いた基準パタンが下端直線部映像パタンで
あるか否かを判定する（ステップＳ５８）。ステップＳ
５８において、相関演算に用いた基準パタンが下端直線
部映像パタンでなかった場合（ステップＳ５８のＮ
Ｏ）、予め用意されている下端直線部映像パタンを選択
し（ステップＳ５９）、ステップＳ５２へ戻る。

【００５３】そして、上述のステップＳ５２とステップ
Ｓ５３において、上端直線部映像パタンに対して行った
操作と同じことを下端直線部映像パタンに対して行い、
図２０（ｂ）に示す下端直線部映像パタンから切り出し
た、ｂ×ａ［ｐｉｘｅｌ］の下端直線部切り出しパタン
「Ｐａｔ＿Ｌｉｎｅ＿Ｄ」を基準パタンとする。更に、
ステップＳ５４において、対象物近傍の探索範囲内か
ら、相関演算により、下端直線部切り出しパタン「Ｐａ
ｔ＿Ｌｉｎｅ＿Ｄ」と相関度が高い部分（ＯＢＪ＿Ｐａ
ｔ）を探索する。下端直線部切り出しパタンによる相関
演算の結果、上述のステップＳ５５からステップＳ５７
までの動作を行い、対象物に水平直線部位有りと判定さ
れると、対象物は人工の道路構造物であるとして、水平
直線部位判定を終了する。また、下端直線部切り出しパ
タンによる相関演算の結果、再度ステップＳ５８の判定
へ進むと、既に上端直線部切り出しパタンと下端直線部
切り出しパタンの両方による水平直線部位の探索が終了
しているので（ステップＳ５８のＹＥＳ）、水平直線部
位無しと判定し（ステップＳ６０）、直角部位判定へ進
む。

【００５４】なお、上述の水平直線部位判定において、
上端線部切り出しパタンと下端直線部切り出しパタンの
両方によって相関演算を行った後、それぞれの相関度の
高い部分と自車両１０との距離を求めないのは、左右の
カメラを用いた２眼立体視の原理から、水平直線部位の
距離は算出できないからである。従って、垂直直線部位
判定と場合と違い、水平直線部位判定では、直線のパタ
ンの相関度のみから判定を行うものとする。

【００５５】次に、図１７に示すフローチャートを用い
て、直角部位判定について説明する。直角部位判定で
は、まず直角部位を探索するために、対象物の画像と相
関演算を行うための基準画像である右上直角部映像パタ
ンを選択し（ステップＳ７１）、図３に示したフローチ
ャートのステップＳ１３において求めた自車両１０と対
象物との距離に応じて、表示画面上に投影された実空間
の画像の大きさと釣り合うように、基準画像のパタンサ
イズを決定する（ステップＳ７２）。ここで、基準画像
のパタンサイズの決定は、上述の垂直直線部位判定や水
平直線部位判定と同じように行う。すなわち、自車両１
０と対象物との距離が前記式（２）よりｚ＝Ｌ［ｍ］と
算出された場合、実空間で距離Ｌ［ｍ］の位置にある高
さＡ［ｍ」、幅Ａ［ｍ］の対象物は、表示画面上でａ×
ａ［ｐｉｘｅｌ］の大きさで投影される。ａ＝ｆ×Ａ／Ｌ・・・（１７）

【００５６】従って、図２１（ａ）に示すように、例え
ば予め用意されている右上直角部映像パタンから、ａ×
ａ［ｐｉｘｅｌ］の直角部位パタンを切り出し、右上直
角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」を基
準パタンとする。同様に、予め用意されている左上直角
部映像パタンから切り出した、ａ×ａ［ｐｉｘｅｌ］の
左上直角部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿
Ｌ」を図２１（ｂ）に示す。相関演算のための基準パタ
ンサイズが求められたら、次に、対象物近傍に探索領域
を設定する（ステップＳ７３）。なお、探索領域の設定
も、上述の垂直直線部位判定や水平直線部位判定と同じ
ように行う。すなわち、２値化対象物画像（ＯＢＪ）の
外接四角形の中心に対して、幅と高さが２値化対象物画
像の幅と高さの上下にそれぞれａ［ｐｉｘｅｌ］の範囲
を設定し、これを相関演算による探索範囲とする。

【００５７】次に、対象物近傍の探索範囲内から、相関
演算により、右上直角部切り出しパタン「Ｐａｔ＿Ｃｏ
ｒｎｅｒ＿Ｒ」と相関度が高い部分（ＯＢＪ＿Ｐａｔ）
を探索する（ステップＳ７４）。そして、右上直角部切
り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が
高い部分が存在するか否かを判定する（ステップＳ７
５）。ステップＳ７５において、右上直角部切り出しパ
タン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関度が高い部分
が存在する場合（ステップＳ７５のＹＥＳ）、相関度が
高い部分と対象物とが同一物体であるか否かを判定する
ために、前記式（２）による対象物の距離算出と同様
に、ＯＢＪ＿Ｐａｔの距離を算出する（ステップＳ７
６）。

【００５８】なお、実際は、自車両１０と対象物との距
離が、自車両１０と相関度が高い部分ＯＢＪ＿Ｐａｔと
の距離に等しい場合、対象物とＯＢＪ＿Ｐａｔは同一の
物体であると判定できるので、距離を比較する代わりに
算出された視差ΔｄとΔｄ＿Ｐを比較することで、対象
物とＯＢＪ＿Ｐａｔが同一の物体であるか否かを判定す
る（ステップＳ７７）。具体的には前記式（１４）を用
いて、視差誤差が許容値ＴＨより小さいか否かを判定す
る。ステップＳ７７において、対象物とＯＢＪ＿Ｐａｔ
が同一の物体であると判定された場合（ステップＳ７７
のＹＥＳ）、対象物には直角部位有りと判定し（ステッ
プＳ７８）、直角部位を持つということは人工の道路構
造物であるとして（ステップＳ７９）、直角部位判定を
終了する。

【００５９】一方、ステップＳ７５において、右上直角
部切り出しパタン「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｒ」と相関
度が高い部分が存在しない場合（ステップＳ７５のＮ
Ｏ）、あるいはステップＳ７７において、対象物とＯＢ
Ｊ＿Ｐａｔが同一の物体であると判定されなかった場合
（ステップＳ７７のＮＯ）、ステップＳ８０へ進み、相
関演算に用いた基準パタンが左上直角部映像パタンであ
るか否かを判定する（ステップＳ８０）。ステップＳ８
０において、相関演算に用いた基準パタンが左上直角部
映像パタンでなかった場合（ステップＳ８０のＮＯ）、
予め用意されている左上直角部映像パタンを選択し（ス
テップＳ８１）、ステップＳ７２へ戻る。

【００６０】そして、上述のステップＳ７２とステップ
Ｓ７３において、右上直角部映像パタンに対して行った
操作と同じことを左上直角部映像パタンに対して行い、
図２１（ｂ）に示す左上直角部映像パタンから切り出し
た、ａ×ａ［ｐｉｘｅｌ］の左上直角部切り出しパタン
「Ｐａｔ＿Ｃｏｒｎｅｒ＿Ｌ」を基準パタンとする。更
に、ステップＳ７４において、対象物近傍の探索範囲内
から、相関演算により、左直線部切り出しパタン「Ｐａ
ｔ＿Ｃｏｒｎｅｒ＿Ｌ」と相関度が高い部分（ＯＢＪ＿
Ｐａｔ）を探索する。

【００６１】左上直角部切り出しパタンによる相関演算
の結果、上述のステップＳ７５からステップＳ７９まで
の動作を行い、対象物に直角部位有りと判定されると、
対象物１０１は人工の道路構造物であるとして、直角部
位判定を終了する。また、左上直角部切り出しパタンに
よる相関演算の結果、再度ステップＳ８０の判定へ進む
と、既に右上直角部切り出しパタンと左上直角部切り出
しパタンの両方による直角部位の探索が終了しているの
で（ステップＳ８０のＹＥＳ）、直角部位無しと判定す
る（ステップＳ８２）。従って、対象物は人工の道路構
造物ではないと判定して（ステップＳ８３）、直角部位
判定を終了し、上述の図１２における対象物の形状判定
のステップＳ２７の処理を実行する。

【００６２】なお、上述の直角部位判定において、右上
直角部切り出しパタンと左上直角部切り出しパタンの両
方によって相関演算を行い、それぞれの相関度の高い部
分の自車両１０との距離を、対象物の自車両１０との距
離と比較する理由は、垂直直線部位判定の場合と同様で
ある。

【００６３】次に、図面を用いて、同一形状判定につい
て説明する。同一形状判定は、例えば図２２に示すよう
に、同一の形状を持つ複数の物体から構成される道路構
造物５０（この例では、丸いレンズが上下に配置された
信号機）を、赤外線カメラにより得られた赤外線画像の
中から探索する処理である。図２３に示すフローチャー
トを用いて説明すると、まず同一形状を探索するため
に、対象物の画像と相関演算を行うための基準画像であ
る対象物パタン「Ｐａｔ」を設定する（ステップＳ９
１）。ここで、対象物パタン「Ｐａｔ」は、図２４
（ａ）に示すように、例えば熱を持った道路構造物５０
のレンズの部分が、２値化対象物画像（ＯＢＪ）２００
として抽出されている場合、図２４（ｂ）に示すよう
に、２値化対象物画像（ＯＢＪ）２００よりひとまわり
大きい領域を設定した基準画像である。

【００６４】相関演算のための対象物パタンが求められ
たら、次に、対象物近傍に探索領域を設定する（ステッ
プＳ９２）。ここで、探索領域の設定は、以下のように
行う。すなわち、図２４（ａ）に示すように、高さが２
値化対象物画像２００の高さの上下にそれぞれａ［ｐｉ
ｘｅｌ］、幅が２値化対象物画像２００の中心に対して
左右にｂ／２［ｐｉｘｅｌ］の範囲を設定し、これをそ
れぞれ相関演算による上部探索範囲２０２、下部探索範
囲２０３とする。

【００６５】次に、対象物近傍の上部探索範囲２０２、
及び下部探索範囲２０３内から、相関演算により、対象
物パタン「Ｐａｔ」と相関度が高い部分（ＯＢＪ＿Ｐａ
ｔ）２０４を探索する（ステップＳ９３）。そして、対
象物パタン「Ｐａｔ」と相関度が高い部分が存在するか
否かを判定する（ステップＳ９４）。ステップＳ９４に
おいて、対象物パタン「Ｐａｔ」と相関度が高い部分が
存在する場合（ステップＳ９４のＹＥＳ）、対象物には
同一形状物有りと判定し（ステップＳ９５）、同一形状
を持つということは人工の道路構造物であるとして（ス
テップＳ９６）、同一形状判定を終了する。なお、図２
２に示した例では、赤外線画像の中から、同一の物体
（丸いレンズ）を複数（２個）持っている道路構造物
（信号機）が検出されることになる。

【００６６】一方、ステップＳ９４において、対象物パ
タン「Ｐａｔ」と相関度が高い部分が存在しない場合
（ステップＳ９４のＮＯ）、対象物には同一形状物無し
と判定し（ステップＳ９７）、同一形状を持たないとい
うことは人工の道路構造物でないとして（ステップＳ９
８）、同一形状判定を終了する。

【００６７】なお、上述の同一形状判定において、対
象物パタンを探索する探索領域の設定は、２値化対象物
画像（ＯＢＪ）２００の上下方向としたが、同一形状の
物体が左右に並んでいる場合もあるので、上下方向を探
索した後、探索領域を左右に設定して対象物パタンを探
索しても良い。

【００６８】また、本実施の形態では、画像処理ユニッ
ト１が、対象物抽出手段と、人工構造物判定手段と、人
工構造物除外手段と、基準画像寸法変更手段とを構成す
る。より具体的には、図３のＳ１〜Ｓ７が対象物抽出手
段に相当し、図１２のＳ２５〜Ｓ２８が人工構造物判定
手段に相当し、図１２のＳ３０が人工構造物除外手段に
相当する。更に、図１５のＳ３２、図１６のＳ５２、図
１７のＳ７２が基準画像寸法変更手段に相当する。

【００６９】また、上述の実施の形態では、撮像手段と
して赤外線カメラ２Ｒ、２Ｌを用いた場合を説明した
が、例えば特開平２−２６４９０号公報に示されるよう
に通常の可視光線のみ検出可能なテレビカメラを使用し
てもよい。ただし、赤外線カメラを用いることにより、
動物あるいは走行中の他車両などの抽出処理を簡略化す
ることができ、演算装置の演算能力が比較的低いもので
も実現できる。また上述した実施の形態では、自車両の
前方を監視する例を示したが、自車両の後方など、いず
れの方向を監視するようにしてもよい。

【００７０】以上説明したように、自車両の周辺の環境
を監視した結果を、歩行者や動物等の動く物体と人工の
道路構造物とに分類して扱うことで、例えば自車両の運
転者に自車両の周辺の環境を表示するような場合、例え
ばこれらの物体の表示方法を区別し、より細心の注意を
払うべき物体に関して、運転者に適切に通知できるよう
になる。また、例えばこれらの物体の情報を車両制御に
用いる場合、物体の種類や重要度によって、車両制御の
順序を変更する等の判断材料として利用できる。

【００７１】

【発明の効果】以上の如く、請求項１に記載の発明によ
れば、撮像手段により撮影した赤外線画像中に存在する
複数の熱を発生する物体について、その物体の画像と基
準画像との照合を行い、その物体が決まった形状を持つ
人工構造物であるか、それ以外の歩行者や動物等の動く
物体であるかを区別することが可能となる。従って、赤
外線画像から抽出した対象物を、人工構造物とそれ以外
に区別して扱うことで、車両の走行との関係で重要、か
つ細心の注意を払うべき物体を、的確に把握することが
できるようになるという効果が得られる。また、不確定
な形状を持つ歩行者や動物を、それ自身の形状判別によ
り対象物の中から抽出する場合に比較して、決まった形
状を持つ物体を検出するので、より少ない演算量で高い
検出精度による対象物の識別ができるようになるという
効果が得られる。

【００７２】請求項２に記載の発明によれば、更に注意
を払うべき人工構造物以外の対象物を抽出するために、
赤外線画像から抽出した対象物の中から人工構造物を除
外し、残った対象物を動く物体として認識することを可
能とする。従って、人工構造物を除外し、赤外線画像か
ら抽出した人工構造物以外の対象物のみを扱うことで、
更に重要な物体の認識度を向上させることが可能となる
という効果が得られる。また、請求項３に記載の発明に
よれば、対象物の中に人工構造物の特徴となりやすい直
線部位があるか否かを判定することで、直線部位を持つ
対象物を人工構造物として除外し、人工構造物以外の対
象物を認識することが可能となる。従って、比較的簡単
に赤外線画像の中から道路構造物を除外し、不確定な形
状を持つ歩行者や動物の検出精度を向上させることがで
きるという効果が得られる。

【００７３】更に、請求項４に記載の発明によれば、対
象物と車両との距離により発生する対象物画像と基準画
像との大きさのずれを補正し、適切な大きさによって両
者を照合することで、対象物が人工構造物であるか否か
の検出精度を向上させることが可能となる。従って、車
両と対象物との距離による検出誤動作を回避し、広範囲
における車両周辺の環境監視を行うことができるという
効果が得られる。このように、歩行者や動物等の動く物
体と人工の道路構造物とを区別して認識することは、例
えば、これらの物体の情報を車両制御に用いたり、自車
両の運転者に対して情報提供や警報として表示する場合
に、物体の内容や重要度によって、情報・警報の表示方
法や車両の制御方法を変更する判断材料として利用で
き、かつ大変有効である。

【図面の簡単な説明】

【図１】本発明の一実施の形態による車両周辺監視装
置の構成を示すブロック図である。

【図２】車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。

【図３】同実施の形態の車両周辺監視装置の画像処理
ユニットにおける全体動作の処理手順を示すフローチャ
ートである。

【図４】赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。

【図５】ランレングスデータへの変換処理及びラベリ
ングを示す図である。

【図６】対象物の時刻間追跡を示す図である。

【図７】対象物画像の回頭角補正を示す図である。

【図８】右画像中の探索画像と、左画像に設定する探
索領域を示す図である。

【図９】探索領域を対象とした相関演算処理を示す図
である。

【図１０】対象物の距離算出における対象物視差の算
出方法を示す図である。

【図１１】車両の回頭により発生する画像上の対象物
位置のずれを示す図である。

【図１２】同実施の形態の車両周辺監視装置の画像処
理ユニットにおける警報判定処理の詳細を示すフローチ
ャートである。

【図１３】車両前方の領域区分を示す図である。

【図１４】衝突が発生しやすい場合を示す図である。

【図１５】同実施の形態の車両周辺監視装置の画像処
理ユニットにおける垂直直線部位の検出処理の詳細を示
すフローチャートである。

【図１６】同実施の形態の車両周辺監視装置の画像処
理ユニットにおける水平直線部位の検出処理の詳細を示
すフローチャートである。

【図１７】同実施の形態の車両周辺監視装置の画像処
理ユニットにおける直角部位の検出処理の詳細を示すフ
ローチャートである。

【図１８】画像の探索における垂直直線部切り出しパ
タンの詳細を示す図である。

【図１９】垂直直線部位検出のための基準パタンの探
索を示す図である。

【図２０】画像の探索における水平直線部切り出しパ
タンの詳細を示す図である。

【図２１】画像の探索における直角部切り出しパタン
の詳細を示す図である。

【図２２】赤外線カメラにより得られる道路構造物の
一例を示す図である。

【図２３】同実施の形態の車両周辺監視装置の画像処
理ユニットにおける同一形状の検出処理の詳細を示すフ
ローチャートである。

【図２４】同一形状検出のための対象物パタンの探索
を示す図である。

【符号の説明】

１画像処理ユニット２Ｒ、２Ｌ赤外線カメラ３ヨーレートセンサ４車速センサ５ブレーキセンサ６スピーカ７画像表示装置１０自車両Ｓ１〜Ｓ７対象物抽出手段Ｓ２５〜Ｓ２８人工構造物判定手段Ｓ３０人工構造物除外手段Ｓ３２、Ｓ５２、Ｓ７２基準画像寸法変更手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｎ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者渡辺正人埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者服部弘埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者嶋村考造埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内Ｆターム(参考） 5B057 AA16 AA19 BA02 CA02 CA08 CA12 CA16 CB02 CB06 CB12 CB16 CD05 CE12 DA08 DA12 DA15 DB02 DB05 DB08 DC04 DC06 DC09 DC14 DC34 DC36 5C054 CA05 CG02 CH06 EA05 FC12 FD07 FE00 FE06 FE09 FE12 FE16 FE28 FF06 HA30 5H180 AA01 CC04 LL01 LL02 LL04 LL07

Claims

【特許請求の範囲】

【請求項１】撮像手段により撮影された赤外線画像か
ら、車両の周辺に存在する物体を検出する車両周辺監視
装置であって、前記赤外線画像から赤外線を発する対象物を抽出する対
象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像を、
人工構造物を特定する要素となる基準画像と照合し、該
対象物が人工構造物であるか否かを判定する人工構造物
判定手段と、を設けたことを特徴とする車両周辺監視装置。
【請求項２】前記人工構造物判定手段により人工構造
物であると判定された対象物を、前記対象物抽出手段に
より抽出された対象物から除外する人工構造物除外手段
を含むことを特徴とする請求項１に記載の車両周辺監視
装置。
【請求項３】前記基準画像は、直線部位を表す画像を
含み、前記人工構造物判定手段は、直線部位を含む対象物を人
工構造物と判定することを特徴とする請求項１、または
請求項２に記載の車両周辺監視装置。
【請求項４】前記人工構造物判定手段は、前記基準画像の大きさを前記車両と前記対象物との距離
に合わせて変更する基準画像寸法変更手段を含むことを
特徴とする請求項１から請求項３のいずれかに記載の車
両周辺監視装置。