JP2002298298A

JP2002298298A - 車両の周辺監視装置

Info

Publication number: JP2002298298A
Application number: JP2001099285A
Authority: JP
Inventors: Takayuki Tsuji; 孝之辻; Hiroshi Hattori; 弘服部; Shinji Nagaoka; 伸治長岡; Masato Watanabe; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-03-30
Filing date: 2001-03-30
Publication date: 2002-10-11
Anticipated expiration: 2021-03-30
Also published as: JP4615139B2; DE60237739D1; EP1245443A2; EP1245443A3; US6789015B2; US20020183929A1; EP1245443B1

Abstract

(57)【要約】【課題】対象物との衝突の可能性をより適切に判定
し、運転者への警報を所望のタイミングで発するととも
に不要な警報を防止することができる車両の周辺監視装
置を提供する。【解決手段】２つの赤外線カメラ１Ｒ，１Ｌにより得
られる画像から、車両周辺の対象物までの距離Ｚを検出
し、検出した距離Ｚの時間変化率として相対速度Ｖｓを
算出する。相対速度Ｖｓが当該車両の車速ＶＣＡＲの近
傍にあることを条件として、車速ＶＣＡＲと距離Ｚとの
関係に基づいて、対象物と当該車両との衝突の可能性を
判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、鹿、熊等の大型動
物との衝突は車両走行に影響を与えるため、衝突を回避
すべく、車両に搭載された撮像手段により得られる画像
から、当該車両に衝突するおそれのある対象物を検出す
るために、当該車両の周辺を監視する周辺監視装置に関
する。

【０００２】

【従来の技術】車両に２つの赤外線カメラを搭載し、２
つのカメラから得られる画像のずれ、すなわち視差に基
づいて、当該車両と対象物との距離を検出し、検出した
距離の時間変化率を、対象物の当該車両に対する相対速
度として算出し、その相対速度と距離との関係に基づい
て、当該車両と対象物との予想衝突時刻までの時間（予
想余裕時間）ＴＹが、所定余裕時間Ｔ以下となったとき
に警報を発する装置が、既に提案されている（特開２０
０１−６０９６号公報）。

【０００３】

【発明が解決しようとする課題】図２２は、上記公報に
示された手法により検出される相対速度の誤差を実測し
たデータを示す図である。この図から明らかなように、
対象物との距離が大きくなるほど、相対速度誤差が増加
するため、相対速度と距離との関係に基づいて予想余裕
時間ＴＹを算出すると、警報が早過ぎたり、あるいは遅
過ぎたりするという問題がある。

【０００４】例えば、距離６０ｍの位置で相対速度６０
ｋｍ／ｈと検出したとき、予想余裕時間ＴＹは、（６０
／６００００）×３６００＝３．６秒となり、所定余裕
時間Ｔを例えば４秒としていれば、警報が発せられる。
ところが、距離６０ｍの位置で相対速度を誤って４０ｋ
ｍ／ｈと検出したときは、予想余裕時間ＴＹは、（６０
／４００００）×３６００＝５.４秒となり、実際には
３．６秒後に衝突の衝突の可能性があるにもかかわら
ず、警報が発せられないこととなる。この場合でも、距
離が短くなれば相対速度検出精度が高くなりまた距離が
短くなるので、少し遅れて警報が発せられるが、警報を
発するタイミングが遅れる。逆に相対速度を実際より高
く誤検出した場合には、警報を発するタイミングが早す
ぎることとなる。

【０００５】また従来の手法では、比較的高速で接近し
てくる対向車両、あるいは自車両の前を先行して走行す
る車両を、衝突の可能性のある対象物として検出し、不
要な警報が頻繁に発せられるという問題もあった。本発
明はこの点に着目してなされたものであり、対象物との
衝突の可能性をより適切に判定し、運転者への警報を所
望のタイミングで発するとともに不要な警報を防止する
ことができる車両の周辺監視装置を提供することを目的
とする。

【０００６】

【課題を解決するための手段】上記目的を達成するため
請求項１に記載の発明は、車両に搭載された撮像手段に
より得られる画像から当該車両の周辺に存在する対象物
を検出する車両の周辺監視装置において、当該車両の車
速を検出する車速検出手段と、前記撮像手段により得ら
れる画像に基づいて前記対象物と当該車両との距離を算
出する距離算出手段と、前記距離に応じて前記対象物と
当該車両との相対速度を算出する相対速度算出手段と、
前記相対速度が前記車速の近傍にあることを条件とし
て、前記車速と前記距離との関係に基づいて、当該車両
と前記対象物との衝突の可能性を判定する判定手段とを
備えることを特徴とする。

【０００７】ここで、「相対速度が車速の近傍にあると
き」とは、例えば相対速度と車速の差の絶対値が、車速
の１／２以下であるようなときをいう。この構成によれ
ば、相対速度が当該車両の車速の近傍にあること、すな
わち対象物が比較的低速度で移動していることあるいは
静止していることを条件として、検出した相対速度に代
えて車速検出手段により検出される当該車両の車速と、
対象物との距離との関係に基づいて、対象物との衝突の
可能性が判定される。したがって、検出した相対速度の
誤差が大きい場合でも、適切なタイミングで警報を発す
ることが可能となる。また、相対速度が車速の近傍にあ
ることを条件としているので、対向車両または先行車両
の接近に対して警報を発することを防止することができ
る。

【０００８】前記撮像手段により得られる画像から前記
対象物の当該車両に対する相対位置を位置データとして
検出する相対位置検出手段と、該相対位置検出手段によ
り検出される、前記対象物についての時系列の複数の位
置データに基づいてその対象物の実空間での位置を算出
し、その実空間位置から移動ベクトルを算出する移動ベ
クトル算出手段とを備え、前記判定手段は、前記車速と
前記距離との関係に基づいて衝突の可能性があると判定
したときは、前記移動ベクトルに基づいて衝突の可能性
の高い対象物を判定することが望ましい。移動ベクトル
を用いることにより判定精度を向上させることができ
る。

【０００９】前記移動ベクトル算出手段は、前記対象物
の相対移動軌跡を近似する近似直線を算出し、その近似
直線を用いて前記位置データを補正することにより前記
移動ベクトルを算出することが望ましい。これにより、
位置データの検出誤差の影響を軽減して衝突の可能性を
より正確に判定することができる。

【００１０】前記判定手段は、当該車両の車幅に応じた
衝突判定条件を用いて前記衝突の可能性の高い対象物の
判定を行うことが望ましい。これにより、衝突の可能性
をより一層正確に判定し、無用の警報を発することを防
止することができる。前記近似直線算出手段は、対象物
の高さのデータを含めた３次元直線として前記近似直線
を算出することが望ましい。これにより、道路に起伏が
ある場合でも正確な判定が可能となる。

【００１１】前記撮像手段は、赤外線を検出可能な２つ
の赤外線カメラとすることが望ましい。これにより、運
転者が確認し難い夜間走行時に動物などを容易に抽出す
ることができる。前記撮像手段は、赤外線または可視光
線を検出する２つのテレビカメラであり、一方のカメラ
の出力画像に含まれる対象物像の位置に基づいて、この
対象物像に対応する他方のカメラの出力画像に含まれる
対象物像を探索する探索領域を設定し、探索領域内で相
関演算を行って前記対応対象物像を特定し、前記対象物
像と対応対象物像との視差から当該車両から前記対象物
までの距離を算出する。そして、前記相関演算は、中間
階調情報を含むグレースケール信号を用いて行うことが
望ましい。２値化した信号ではなく、グレースケール信
号を用いることにより、より正確な相関演算が可能とな
り、対応対象物像を誤って特定することを回避できる。

【００１２】前記近似直線算出手段は、前記グレースケ
ール信号を２値化した信号を用いて、前記撮像手段の出
力画像内を移動する対象物の追跡を行う。この場合、追
跡対象物は、ランレングス符号化したデータにより認識
することが望ましい。これにより、追跡する対象物につ
いてのデータ量を低減しメモリ容量を節約することがで
きる。

【００１３】また、追跡対象物の同一性は、重心位置座
標、面積及び外接四角形の縦横比に基づいて判定するこ
とが望ましい。これにより、対象物の同一性の判定を正
確に行うことができる。前記判定手段により対象物との
衝突の可能性が高いと判定されたとき、運転者に警告を
発する警報手段を備え、該警告手段は、運転者がブレー
キ操作を行っている場合であって、そのブレーキ操作に
よる加速度が所定閾値より大きいときは、警報を発しな
いようにすることが望ましい。運転者がすでに対象物に
気づいて適切なブレーキ操作を行っている場合は警告を
発しないようにして、運転者によけいな煩わしさを与え
ないようにすることができる。

【００１４】

【発明の実施の形態】以下本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施形態にかかる
車両の周辺監視装置の構成を示す図であり、この装置
は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１
Ｌと、当該車両のヨーレートを検出するヨーレートセン
サ５と、当該車両の走行速度（車速）ＶＣＡＲを検出す
る車速検出手段としての車速センサ６と、ブレーキ（図
示せず）の操作量を検出するためのブレーキセンサ７
と、これらのカメラ１Ｒ，１Ｌによって得られる画像デ
ータの基づいて車両前方の動物等の対象物を検出し、衝
突の可能性が高い場合に警報を発する画像処理ユニット
２と、音声で警報を発するためのスピーカ３と、カメラ
１Ｒまたは１Ｌによって得られる画像を表示するととも
に、衝突の可能性が高い対象物を運転者に認識させるた
めのヘッドアップディスプレイ（以下「ＨＵＤ」とい
う）４とを備えている。

【００１５】カメラ１Ｒ、１Ｌは、図２に示すように車
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に配置されており、２つのカメラ１Ｒ、１
Ｌの光軸が互いに平行となり、両者の路面からの高さが
等しくなるように固定されている。赤外線カメラ１Ｒ、
１Ｌは、対象物の温度が高いほど、その出力信号レベル
が高くなる（輝度が増加する）特性を有している。

【００１６】画像処理ユニット２は、入力アナログ信号
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４ａが表示さ
れるように設けられている。

【００１７】図３は画像処理ユニット２における処理の
手順を示すフローチャートであり、先ずカメラ１Ｒ、１
Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する
（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格
納される画像データは、輝度情報を含んだグレースケー
ル画像データである。図５（ａ）（ｂ）は、それぞれは
カメラ１Ｒ，１Ｌによって得られるグレースケール画像
（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより
左画像が得られる）を説明するための図であり、ハッチ
ングを付した領域は、中間階調（グレー）の領域であ
り、太い実線で囲んだ領域が、輝度レベルが高く（高温
で）、画面上に白色として表示される対象物の領域（以
下「高輝度領域」という）である。右画像と左画像で
は、同一の対象物の画面上の水平位置がずれて表示され
るので、このずれ（視差）によりその対象物までの距離
を算出することができる。

【００１８】図３のステップＳ１４では、右画像を基準
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るいまたは等しい輝度
の領域を「１」（白）とし、暗い領域を「０」（黒）と
する処理を行う。図６に図５（ａ）の画像を２値化した
画像を示す。この図は、ハッチングを付した領域が黒で
あり、太い実線で囲まれた高輝度領域が白であることを
示している。

【００１９】続くステップＳ１５では、２値化した画像
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。

【００２０】ステップＳ１６、Ｓ１７では、図７（ｂ）
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。

【００２１】ステップＳ１８では図７（ｃ）に示すよう
に、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外
接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、
ランレングスデータの長さを同一対象物について積算す
ることにより算出し、重心Ｇの座標は、面積Ｓをｘ方向
に２等分する線のｘ座標及びｙ方向に２等分する線のｙ
座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に
示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。な
お、重心Ｇの位置は、外接四角形の重心位置で代用して
もよい。

【００２２】ステップＳ１９では、対象物の時刻間追
跡、すなわちサンプリング周期毎に同一対象物の認識を
行う。アナログ量としての時刻ｔをサンプリング周期で
離散化した時刻をｋとし、図８（ａ）に示すように時刻
ｋで対象物１，２を抽出した場合において、時刻（ｋ＋
１）で抽出した対象物３，４と、対象物１，２との同一
性判定を行う。具体的には、以下の同一性判定条件１）
〜３）を満たすときに、対象物１、２と対象物３、４と
は同一であると判定し、対象物３、４をそれぞれ１，２
というラベルに変更することにより、時刻間追跡が行わ
れる。

【００２３】１）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、それぞれｘ方向及
びｙ方向の画像上の移動量の許容値である。

【００２４】２）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）に
おける対象物ｊ（＝３，４）の画像上での面積をＳｊ
（ｋ＋１）としたとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳであること。ただし、ΔＳは面積変化の許容値である。

【００２５】３）時刻ｋにおける対象物ｉ（＝１，２）
の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時
刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角
形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１
±ΔＡＳＰＥＣＴであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許
容値である。

【００２６】図８（ａ）と（ｂ）とを対比すると、各対
象物は画像上での大きさが大きくなっているが、対象物
１と３とが上記同一性判定条件を満たし、対象物２と４
とが上記同一性判定条件を満たすので、対象物３、４は
それぞれ対象物１、２と認識される。このようにして認
識された各対象物の（重心の）位置座標は、時系列位置
データとしてメモリに格納され、後の演算処理に使用さ
れる。なお以上説明したステップＳ１４〜Ｓ１９の処理
は、２値化した基準画像（本実施形態では、右画像）つ
いて実行する。

【００２７】図３のステップＳ２０では、車速センサ６
により検出される車速ＶＣＡＲ及びヨーレートセンサ５
より検出されるヨーレートＹＲを読み込み、ヨーレート
ＹＲを時間積分することより、自車両１０の回頭角θｒ
（図１４参照）を算出する。

【００２８】一方、ステップＳ３１〜Ｓ３３では、ステ
ップＳ１９，Ｓ２０の処理と平行して、対象物と自車両
１０と距離ｚを算出する処理を行う。この演算はステッ
プＳ１９，Ｓ２０より長い時間を要するため、ステップ
Ｓ１９，Ｓ２０より長い周期（例えばステップＳ１１〜
Ｓ２０の実行周期の３倍程度の周期）で実行される。

【００２９】ステップＳ３１では、基準画像（右画像）
の２値化画像によって追跡される対象物の中の１つを選
択することにより、図９（ａ）に示すように右画像から
探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全
体を探索画像とする）を抽出する。続くステップＳ３２
では、左画像中から探索画像に対応する画像（以下「対
応画像」という）を探索する探索領域を設定し、相関演
算を実行して対応画像を抽出する。具体的には、探索画
像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示
すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探
索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ
（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ
（ａ，ｂ）が最小となる領域を対応画像として抽出す
る。なお、この相関演算は、２値画像ではなくグレース
ケール画像を用いて行う。また同一対象物についての過
去の位置データがあるときは、その位置データに基づい
て探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線
で示す）を探索領域として設定する。

【数１】

【００３０】ここで、ＩＲ（ｍ，ｎ）は、図１０に示す
探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であ
り、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の
座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状
の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値であ
る。基点の座標（ａ，ｂ）を変化させて輝度差分総和値
Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対
応画像の位置が特定される。

【００３１】ステップＳ３２の処理により、図１１に示
すように探索画像Ｒ１と、この探索画像Ｒ１に対応する
対応画像Ｒ４とが抽出されるので、ステップＳ３３で
は、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲと
の距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画
像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記
式（２）に適用して、自車両１０と、対象物との距離ｚ
を算出する。

【数２】

【００３２】ここで、Ｂは基線長、すなわち図１２に示
すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カ
メラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ
方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１
２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１
Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量
である。

【００３３】ステップＳ２１では、画像内の座標（ｘ，
ｙ）及び式（２）により算出した距離ｚを下記式（３）
に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここ
で、実空間座標（Ｘ，Ｙ，Ｚ）は、図１３（ａ）に示す
ように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置
（自車両１０に固定された位置）を実空間座標系の原点
Ｏとして、図示のように定め、画像内の座標は同図
（ｂ）に示すように、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。

【数３】

【００３４】ここで、（ｘｃ，ｙｃ）は、右画像上の座
標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間
座標系の原点Ｏとの相対位置関係に基づいて、実空間座
標系の原点Ｏと画像の中心とを一致させた仮想的な画像
内の座標に変換したものである。またｆは、焦点距離Ｆ
と画素間隔ｐとの比である。

【００３５】ステップＳ２２では、自車両１０が回頭す
ることによる画像上の位置ずれを補正するための回頭角
補正を行う。図１４に示すように、時刻ｋから（ｋ＋
１）までの期間中に自車両が例えば左方向に回頭角θｒ
だけ回頭すると、カメラによって得られる画像上では、
図１５に示すようにΔｘだけｘ方向にずれるので、これ
を補正する処理である。具体的には、下記式（４）に実
空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，
Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ
（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリ
に格納する。なお、以下の説明では、回頭角補正後の座
標を（Ｘ，Ｙ，Ｚ）と表示する。

【数４】

【００３６】ステップＳ２３では、図１６に示すように
同一対象物について、ΔＴの期間内に得られた、回頭角
補正後のＮ個の実空間位置データ（例えばＮ＝１０程
度）、すなわち時系列データから、対象物と自車両１０
との相対移動ベクトルに対応する近似直線ＬＭＶを求め
る。具体的には、近似直線ＬＭＶの方向を示す方向ベク
トルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とする
と、下記式（５）で表される直線を求める。

【数５】

【００３７】ここでｕは、任意の値をとる媒介変数であ
り、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置
データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標
の平均値である。なお、式（５）は媒介変数ｕを消去す
れば下記式（５ａ）のようになる。（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ …（５ａ）

【００３８】図１６は、近似直線ＬＭＶを説明するため
の図であり、同図のＰ（０），Ｐ（１），Ｐ（２），
…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系
列データを示し、近似直線ＬＭＶは、この時系列データ
の平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａ
ｖ））を通り、各データ点からの距離の２乗の平均値が
最小となるような直線として求められる。ここで各デー
タ点の座標を示すＰに付した（）内の数値はその値が増
加するほど過去のデータであることを示す。例えば、Ｐ
（０）は最新の位置座標、Ｐ（１）は１サンプル周期前
の位置座標、Ｐ（２）は２サンプル周期前の位置座標を
示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ
（ｊ）、Ｚ（ｊ）等も同様である。

【００３９】より具体的には、平均位置座標Ｐａｖから
各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベク
トルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ
（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ
（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記
式（６）により算出し、この内積ｓの分散が最大となる
方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ）（６）

【００４０】各データ点の座標の分散共分散行列Ｖは、
下記式（７）で表され、この行列の固有値σが内積ｓの
分散に相当するので、この行列から算出される３つの固
有値のうち最大の固有値に対応する固有ベクトルが求め
る方向ベクトルＬとなる。なお、式（７）の行列から固
有値と固有ベクトルを算出するには、ヤコビ法（例えば
「数値計算ハンドブック」（オーム社）に示されてい
る）として知られている手法を用いる。

【数６】

【００４１】次いで最新の位置座標Ｐ（０）＝（Ｘ
（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル
前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−
１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ
上の位置に補正する。具体的には、前記式（５ａ）にＺ
座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、す
なわち下記式（８）により、補正後の位置座標Ｐｖ
（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及び
Ｐｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），
Ｚｖ（Ｎ−１））を求める。

【数７】

【００４２】式（８）で算出された位置座標Ｐｖ（Ｎ−
１）からＰｖ（０）に向かうベクトルとして、相対移動
ベクトルが得られる。このようにモニタ期間ΔＴ内の複
数（Ｎ個）のデータから対象物の自車両１０に対する相
対移動軌跡を近似する近似直線を算出して相対移動ベク
トルを求めることにより、位置検出誤差の影響を軽減し
て対象物との衝突の可能性をより正確に予測することが
可能となる。

【００４３】図３に戻り、ステップＳ２４では、検出し
た対象物との衝突の可能性を判定し、その可能性が高い
ときに警報を発する警報判定処理（図４）を実行する。
ステップＳ４１では、下記式（９）によりＺ方向の相対
速度Ｖｓを算出し、下記式（１０ａ），（１０ｂ）及び
（１１）が成立するとき、衝突の可能性があると判定し
てステップＳ４２に進み、式（１０ａ），（１０ｂ）ま
たは式（１１）のいずれかが不成立のときは、この処理
を終了する。Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ（９）ＶＣＡＲ／２≦Ｖｓ≦ＶＣＡＲ×３／２（１０ａ）（｜ＶＣＡＲ−Ｖｓ｜≦ＶＣＡＲ／２）Ｚｖ（０）／ＶＣＡＲ≦Ｔ（１０ｂ）｜Ｙｖ（０）｜≦Ｈ（１１）

【００４４】ここで、Ｚｖ（０）は最新の距離検出値
（ｖは近似直線ＬＭＶによる補正後のデータであること
を示すために付しているが、Ｚ座標は補正前と同一の値
である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離
検出値である。またＴは、余裕時間であり、衝突の可能
性を予測衝突時刻より時間Ｔだけ前に判定することを意
図したものであり、例えば２〜５秒程度に設定される。
またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する
所定高さであり、例えば自車両１０の車高の２倍程度に
設定される。

【００４５】式（１０ａ）の関係が満たされるのは、相
対速度Ｖｓが車速ＶＣＡＲの近傍にあるとき、すなわち
対象物が比較的低速で移動しているか、または静止して
いるときである。式（１０ｂ）の関係を図示すると図１
７に示すようになる。式（１０ａ）の関係が満たされて
相対速度Ｖｓが車速ＶＣＡＲの近傍にあり、かつ車速Ｖ
ＣＡＲと距離Ｚｖ（０）とに対応する座標が、図１７に
ハッチングを付して示す領域内にあり、かつ｜Ｙｖ
（０）｜≦Ｈであるとき、ステップＳ４２以下の判定が
実行される。

【００４６】式（１０ａ）及び（１０ｂ）の関係を満た
されることを条件として、対象物と衝突する可能性を判
定し、その対象物の位置及び相対移動ベクトルに応じて
警報を発するようにしたので、相対速度Ｖｓの検出誤差
が大きい場合でも比較的低速で移動しているまたは静止
している対象物について、適切なタイミングで衝突の可
能性の有無を判定し、警報を発することができる。ま
た、式（１０ａ）の条件により、接近してくる対向車両
あるいは先行車両は警報の対象から除かれるので、不要
な警報が頻繁に発せられる不具合を防止できる。

【００４７】図１８は、カメラ１Ｒ、１Ｌで監視可能な
領域を、太い実線で示す外側の三角形の領域ＡＲ０で示
し、さらに領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両
１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領
域としている。ここで領域ＡＲ１は、自車両１０の車幅
αの両側に余裕β（例えば５０〜１００ｃｍ程度とす
る）を加えた範囲に対応する領域、換言すれば自車両１
０の横方向の中心軸の両側に（α／２＋β）の幅を有す
る領域であって、対象物がそのまま存在し続ければ衝突
の可能性がきわめて高いので、接近判定領域と呼ぶ。領
域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値
が大きい（接近判定領域の横方向外側の）領域であり、
この領域内にある対象物については、後述する侵入衝突
判定を行うので、侵入判定領域と呼ぶ。なおこれらの領
域は、前記式（１１）に示したようにＹ方向には、所定
高さＨを有する。

【００４８】前記ステップＳ４１の答が肯定（ＹＥＳ）
となるのは、対象物が接近判定領域ＡＲ１または侵入判
定領域ＡＲ２，ＡＲ３のいずれかに存在する場合であ
る。続くステップＳ４２では、対象物が接近判定領域Ａ
Ｒ１内にあるか否かを判別し、この答が肯定（ＹＥＳ）
であるときは、直ちにステップＳ４４に進む一方、否定
（ＮＯ）であるときは、ステップＳ４３で侵入衝突判定
を行う。具体的には、画像上での最新のｘ座標ｘｃ
（０）（ｃは前述したように画像の中心位置を実空間座
標系の原点Ｏに一致させる補正を行った座標であること
を示すために付している）と、時間ΔＴ前のｘ座標ｘｃ
（Ｎ−１）との差が下記式（１２）を満たすか否かを判
別し、満たす場合に衝突の可能性が高いと判定する。

【数８】

【００４９】図１９に示すように、自車両１０の進行方
向に対してほぼ９０°の方向から進行してくる動物２０
がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ
（０）／Ｚｒ（０）であるとき、換言すれば動物の速度
Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／
Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０と
見る方位角θｄは一定となり、衝突の可能性が高い。式
（１２）は、この可能性を自車両１０の車幅αを考慮し
て判定するものである。以下図２０を参照して式（１
２）の導出手法を説明する。

【００５０】対象物２０の最新の位置座標と時間ΔＴ前
の位置座標と通る直線、すなわち近似直線ＬＭＶとＸＹ
平面（Ｘ軸とＹ軸とを含む平面、すなわち車両１０の先
端部に対応する線（Ｘ軸）を含み車両１０の進行方向に
垂直な面）との交点のＸ座標をＸＣＬとすると、車幅α
を考慮した衝突発生の条件は、下記式（１３）で与えら
れる。

【００５１】−α／２≦ＸＣＬ≦α／２（１３）一方近似直線ＬＭＶをＸＺ平面に投影した直線は、下記
式（１４）で与えられる。

【数９】この式にＺ＝０，Ｘ＝ＸＣＬを代入してＸＣＬを求める
と下記式（１５）のようになる。

【数１０】

【００５２】また実空間座標Ｘと、画像上の座標ｘｃと
は、前記式（３）に示した関係があるので、Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ（１６）Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ（１７）であり、これらを式（１５）に適用すると、交点Ｘ座標
ＸＣＬは下記式（１８）で与えられる。これを式（１
３）に代入して整理することにより、式（１２）の条件
が得られる。

【数１１】

【００５３】図４に戻り、ステップＳ４３で衝突の可能
性が高いと判定したときは、ステップＳ４４に進み、低
いと判定したときは本処理を終了する。ステップＳ４４
では、以下のようにして警報出力判定、すなわち警報出
力を行うか否かの判定を行う。先ずブレーキセンサ７の
出力から自車両１０の運転者がブレーキ操作を行ってい
るか否かを判別し、ブレーキ操作を行っていなければ直
ちにステップＳ４５に進んで、警報出力を行う。ブレー
キ操作を行っている場合には、それによって発生する加
速度Ｇｓ（減速方向を正とする）を算出し、この加速度
Ｇｓが所定閾値ＧＴＨ以下であるときは、ステップＳ４
５に進む一方、Ｇｘ＞ＧＴＨであるときは、ブレーキ操
作により衝突が回避されると判定して本処理を終了す
る。これにより、適切なブレーキ操作が行われていると
きは、警報を発しないようにして、運転者に余計な煩わ
しさを与えないようにすることができる。

【００５４】所定閾値ＧＴＨは、下記式（１９）のよう
に定める。これは、ブレーキ加速度Ｇｓがそのまま維持
された場合に、距離Ｚｖ（０）以下の走行距離で自車両
１０が停止する条件に対応する値である。

【数１２】ステップＳ４５では、スピーカ３を介して音声による警
報を発するとともに、図２１に示すようにＨＵＤ４によ
り例えばカメラ１Ｒにより得られる画像を画面４ａに表
示し、接近してくる対象物を強調表示する（例えば枠で
囲んで強調する）する。図２１（ａ）はＨＵＤの画面４
ａの表示がない状態を示し、同図（ｂ）が画面４ａが表
示された状態を示す。このようにすることにより、衝突
の可能性の高い対象物を運転者が確実に認識することが
できる。

【００５５】以上のように本実施形態では、式（１０
ａ）及び（１０ｂ）の関係を満たされることを条件とし
て、対象物と衝突する可能性を判定し、その対象物の位
置及び相対移動ベクトルに応じて警報を発するようにし
たので、相対速度Ｖｓの検出誤差が大きい場合でも比較
的低速で移動しているまたは静止している対象物につい
て、適切なタイミングで衝突の可能性の有無を判定し、
警報を発することができる。また、式（１０ａ）の条件
により、接近してくる対向車両あるいは先行車両は警報
の対象から除かれるので、不要な警報が頻繁に発せられ
る不具合を防止できる。

【００５６】また同一対象物についての時系列の複数の
位置データに基づいてその対象物の実空間での位置を算
出し、その実空間位置から移動ベクトルを算出し、その
ようにして算出された移動ベクトルに基づいて対象物と
自車両１０との衝突の可能性を判定するようにしたの
で、従来の装置のような誤判定が発生することがなく、
衝突可能性の判定精度を向上させることができる。

【００５７】また、対象物の相対移動軌跡を近似する近
似直線ＬＭＶを求め、検出位置がこの近似直線上の位置
するように位置座標を補正し、補正後の位置座標から移
動ベクトルを求めるようにしたので、検出位置の誤差の
影響を軽減してより正確な衝突可能性の判定を行うこと
ができる。

【００５８】また車幅αを考慮した衝突判定を行うよう
にしたので、衝突の可能性を正確に判定し、無用の警報
を発することを防止することができる。本実施形態で
は、画像処理ユニット２が、距離算出手段、相対速度算
出手段、相対位置検出手段、移動ベクトル算出手段、判
定手段、及び警報手段の一部を構成する。より具体的に
は、図３のステップＳ３１〜Ｓ３３が距離検出手段に相
当し、式（９）の演算が相対速度算出手段に相当し、図
３のステップＳ１４〜Ｓ１９が相対位置検出手段に相当
し、ステップＳ２０〜Ｓ２３が移動ベクトル算出手段に
相当し、図４のステップＳ４１〜Ｓ４４が判定手段に相
当し、同図のステップＳ４５並びにスピーカ３及びＨＵ
Ｄ４が警報手段に相当する。

【００５９】なお本発明は上述した実施形態に限るもの
ではなく、種々の変形が可能である。例えば、上述した
実施形態では、相対速度Ｖｓと車速ＶＣＡＲとの差が車
速ＶＣＡＲの１／２以下という条件（式（１０ａ））を
用いたが、これに限るものではなく、相対速度Ｖｓと車
速ＶＣＡＲとの差が車速ＶＣＡＲの０．４倍以下あるい
は０．３倍以下などという条件としてもよい。

【００６０】また本実施形態では、撮像手段として赤外
線カメラを使用したが、例えば特開平９−２２６４９０
号公報に示されるように通常の可視光線のみ検出可能な
テレビカメラを使用してもよい。ただし、赤外線カメラ
を用いることにより、動物あるいは走行中の車両などの
抽出処理を簡略化することができ、演算装置の演算能力
が比較的低いものでも実現できる。また上述した実施形
態では、車両の前方を監視する例を示したが、車両の後
方などいずれの方向を監視するようにしてもよい。

【００６１】

【発明の効果】以上詳述したように請求項１に記載の発
明によれば、相対速度が当該車両の車速の近傍にあるこ
と、すなわち対象物が比較的低速度で移動していること
あるいは静止していることを条件として、検出した相対
速度に代えて車速検出手段により検出される当該車両の
車速と、対象物との距離との関係に基づいて、対象物と
の衝突の可能性が判定される。したがって、検出した相
対速度の誤差が大きい場合でも、適切なタイミングで警
報を発することが可能となる。また、相対速度が車速の
近傍にあることを条件としているので、対向車両または
先行車両の接近に対して警報を発することを防止するこ
とができる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる周辺監視装置の構
成を示すブロック図である。

【図２】図１に示すカメラの取り付け位置を説明するた
めの図である。

【図３】図１の画像処理ユニットにおける処理の手順を
示すフローチャートである。

【図４】図３の警報判定処理を詳細に示すフローチャー
トである。

【図５】赤外線カメラにより得られるグレースケール画
像を説明するために、中間階調部にハッチングを付して
示す図である。

【図６】グレースケール画像を２値化した画像を説明す
るために、黒の領域をハッチングを付して示す図であ
る。

【図７】ランレングスデータへの変換処理及びラベリン
グを説明するための図である。

【図８】対象物の時刻間追跡を説明するための図であ
る。

【図９】右画像中の探索画像と、左画像に設定する探索
領域を説明するための図である。

【図１０】探索領域を対象とした相関演算処理を説明す
るための図である。

【図１１】視差の算出方法を説明するための図である。

【図１２】視差から距離を算出する手法を説明するため
の図である。

【図１３】本実施形態における座標系を示す図である。

【図１４】回頭角補正を説明するための図である。

【図１５】車両の回頭により発生する画像上の対象物位
置のずれを示す図である。

【図１６】相対移動ベクトルの算出手法を説明するため
の図である。

【図１７】警報判定を行う条件を説明するための図であ
る。

【図１８】車両前方の領域区分を説明するための図であ
る。

【図１９】衝突が発生しやすい場合を説明するための図
である。

【図２０】車両の幅に応じた侵入警報判定の手法を説明
するための図である。

【図２１】ヘッドアップディスプレイ上の表示を説明す
るための図である。

【図２２】従来技術の問題点を説明するための図であ
る。

【符号の説明】１Ｒ、１Ｌ赤外線カメラ（撮像手段）２画像処理ユニット（距離算出手段、相対速度算出手
段、相対位置検出手段、移動ベクトル算出手段、判定手
段、警報手段）３スピーカ（警報手段）４ヘッドアップディスプレイ（警報手段）５ヨーレートセンサ６車速センサ７ブレーキセンサ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｂ６０Ｒ 21/00 Ｂ６０Ｒ 21/00 ６２６Ｇ 21/01 21/01 (72)発明者長岡伸治埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内 (72)発明者渡辺正人埼玉県和光市中央１丁目４番１号株式会社本田技術研究所内Ｆターム(参考） 5H180 AA01 CC02 CC04 LL01 LL02 LL06

Claims

【特許請求の範囲】

【請求項１】車両に搭載された撮像手段により得られ
る画像から当該車両の周辺に存在する対象物を検出する
車両の周辺監視装置において、当該車両の車速を検出する車速検出手段と、前記撮像手段により得られる画像に基づいて前記対象物
と当該車両との距離を算出する距離算出手段と、前記距離に応じて前記対象物と当該車両との相対速度を
算出する相対速度算出手段と、前記相対速度が前記車速の近傍にあることを条件とし
て、前記車速と前記距離との関係に基づいて、当該車両
と前記対象物との衝突の可能性を判定する判定手段とを
備えることを特徴とする車両の周辺監視装置。