JPH0750769A - 車両用後側方監視方法 - Google Patents

Abstract

(57)【要約】 【目的】 後続車両との車間距離を計測する距離センサ
を用いることなく、１台のビデオカメラによる後側景画
像を用いて、後続の走行車両や隣接車線を走行中の車両
の接近による危険度を自動的にかつ高速に判定できる車
両用後側方監視方法を提供する。 【構成】 撮像した一連の後側景動画像中の時間的に相
前後する２コマの画像中に写し出される対象物体上の同
一点の移動をオプティカルフローベクトルとして検出
し、その方向と大きさにより危険を判断する。前画像の
ＦＯＥから放射状の方向に設定した窓を後画像上におい
て同方向に移動し、該窓と該窓に重なる後画像と該窓の
前画像における設定位置とのそれぞれの中心点間を結ぶ
矢印を着目する１点のオプティカルフローベクトルと定
める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動車などの車両に設
置したビデオカメラによって後方及び側方を撮像した画
像を用いて、車両の走行の際に後方および側方より接近
する車両を検知し運転者に警告を与えるための車両用後
側方監視方法に関するものである。

【０００２】

【従来の技術】片側２車線以上の道路を車両が走行中に
車線変更する際、変更しようとする隣接車線を、自車よ
り速い速度で走行中の車両を見落した場合、大事故につ
ながる危険性が大である。また、自車と同じ車線を走行
中の後続車両がある場合、急接近してきた場合などに急
ブレーキをかけると追突される危険性があるため、近接
車両を認識しておく必要がある。

【０００３】隣接車線を走行中の車両および後続車両を
認識させる従来例としては特開平１−１８９２８９号公
報（車両情報表示装置）が提案されている。この特開平
１−１８９２８９号公報には、車両の後方及び側方をカ
メラによって撮影し、撮影された画像をモニタに表示さ
せることによって、隣接車線を走行中の車両および後続
車両を認識させるようにしている。

【０００４】

【発明が解決しようとする課題】前述したように、従来
は車両の後方および側方をカメラによって撮影し、撮影
した画像をモニタに表示して隣接車線を走行中の車両お
よび後続車両を認識させるようにしている。したがっ
て、モニタに表示された車両を見落す可能性もあり、ま
た、モニタを見ただけでは隣接車線を走行中の車両およ
び後続車両の速度が自車の速度より速いか否かを直ちに
判定することは困難であった。

【０００５】よって本発明は、上述した従来の問題点に
鑑み、車両に設置したビデオカメラからの後側方画像を
用いて、後方の走行車両や隣接車線を走行中の車両によ
る危険度を自動的に判定できるようにした車両用後側方
監視方法を提供することを目的としている。

【０００６】また本発明は、ビデオカメラで撮像した後
側方画像を、所定時間毎に同一点の移動をオプティカル
フローとして高速に認識することができるようにした車
両用後側方監視方法を提供することを目的としている。

【０００７】

【課題を解決するための手段】上記目的を達成するため
本発明によりなされた車両用後側方監視方法は、走行し
ている自車両から後側景を撮像し、この撮像した後側景
の同一点の移動を所定時間相前後する２コマの画像に基
づいてオプティカルフローとして認識し、該オプティカ
ルフローをもとに自車両に対する後続車両又は隣接車線
を走行中の車両を監視する車両用後側方監視方法におい
て、前記後続車両又は隣接車線を走行中の車両上の点に
対して現れる画像内の無限遠点から発散する方向のオプ
ティカルフローの大きさにより危険度を判断することを
特徴としている。

【０００８】上記車両用後側方監視方法において、所定
時間相前後する２コマの画像における前の画像において
走行している自車両の進行方向の正反対方向を示す１点
に対応する無限遠点から着目する１点に対して放射状の
方向にその１点を中心とする細長い窓を設定し、後の画
面において該窓を前記無限遠点から放射方向に移動しな
がら、着目する１点を抽出し、前の画像と後の画像の点
間を結ぶ矢印を１点のオプティカルフローとして求める
ことを特徴としている。

【０００９】

【作用】上記方法によれば、後方車両又は隣接車線を走
行中の車両との距離が小さい程、また相対速度が大きい
程、オプィカルフローが大きくなることに着目して、後
方車両又は隣接車線を走行中の車両上の点のオプティカ
ルフローの大きさにより危険を判断するようにしている
ので、格別後続車両との間の距離を測定するための距離
計を設ける必要がなくなっている。

【００１０】オプティカルフローが自車両の進行方向の
正反対の方向を示す１点に対応する無限遠点から放射状
の方向に形成されることに着目して、２コマの画像のう
ちの前の画像において、走行している自車両の進行方向
の正反対の方向を示す１点に対応する無限遠点から、着
目する１点に対して放射状の方向に細長い窓を設定し、
後の画面において該窓を前記無限遠点から放射方向に移
動しながら、着目する１点を抽出して前の画像と後の画
像の点間を結ぶ矢印を１点のオプティカルフローと定め
るようにしているので、計算量の軽減となって処理の高
速化が行える。

【００１１】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明による方法を実施するための装置の
構成を示し、同図において、１は後側景を撮像するビデ
オカメラ、２はビデオカメラ１によって得られた画像を
入力し、後述する画像処理を行う演算処理装置、３は演
算処理装置２の画像処理結果から危険度判定処理を行う
演算処理装置、４は警報装置である。

【００１２】図２は、ビデオカメラ１によって得られる
後側景画像の変化を説明するための図であり、（ｂ）は
（ａ）に示す自車両を含む状況においてビデオカメラ１
が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像
した画像をそれぞれ示す。

【００１３】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、時間の経過により時間ｔ、時間ｔ
＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像
が得られる。この２枚の画像において対応する点を捜し
それらを結ぶと（ｄ）に示されるような速度ベクトルが
得られる。これがオプティカルフローである。また、後
続車両が接近する場合は図２（ｄ）で示すオプティカル
フローの速度ベクトルの方向は逆になる。

【００１４】ここでこれらオプティカルフローは、画像
内のＦＯＥ（Focus of Expansion）とよばれる１点から
放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向の正反対方向を示す１点に対応する。このよう
に、自車両が走行している場合に求められるオプティカ
ルフローは、ＦＯＥから放射状の方向である。ここで後
続または隣接車線を走行中の車両から発せられたオプテ
ィカルフローは、自車両に対する後続または隣接車両の
位置、相対速度からなる情報を含んでおり、オプティカ
ルフローが長く、かつその方向がＦＯＥより発散する場
合は危険度が高いと考えられる。

【００１５】次に、その詳細を図３を参照して説明す
る。同図の光学的配置おいて、１１はビデオカメラのレ
ンズ、１２はビデオカメラのイメージプレーン、ｆはレ
ンズ１１からイメージプレーン１２までの距離、Ｐ
（Ｘ，Ｙ，Ｚ）は後続車両上の任意の１点、ｐ（ｘ，
ｙ）はイメージプレーン１２上の点Ｐに対応する点とす
ると、３角形の相似の比から ｘ＝ｆ・Ｘ／Ｚ ……（２） となる。

【００１６】この式を変形して、時間微分すると、 Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（３） となる。また、オプティカルフローのｘ方向成分ｕとは ｕ＝Δｘ／Δｔ ……（４） であるので、これを用いて Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（５） となる。

【００１７】ここで Ｚ’＝後続車両ないし隣接車線を走行中の車両と自車両との相対速度＝−α ……（６） であるから上式（５）は Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（７） となる。よってオプティカルフローのｘ方向成分ｕは ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（８） となる。Ｙについても同様に求まる。

【００１８】よって上式（８）より、Ｚが小、すなわち
後続車両又は隣接車線を走行中の車両までの距離が小で
ある程、又はαが大、すなわち相対速度が大である程、
オプティカルフローのｘ成分は大きくなる。これはＹ方
向についても同様である。従って、オプティカルフロー
は後続車両などとの距離が小な程、更に相対速度が大な
程長くなり、これよりオプティカルフローの方向がＦＯ
Ｅに対して発散し、その長さが短いときより長いときの
方が相対的に後続車両又は隣接車両に対する危険度が大
きいと考えられる。

【００１９】本発明では、オプティカルフローがＦＯＥ
から放射状の向きに求められるということを利用し、高
速にオプティカルフローを求めるようにしており、その
方法を図４に基づいて以下説明する。

【００２０】図４は、高速にオプティカル・フローを求
める方法の一実施例を示した図である。まず、始めに時
間ｔでの画像において着目する一点に対しＦＯＥから放
射状の方向に窓を設定する（図４（ａ））。次に、時間
ｔ＋Δｔでの画像において、窓をＦＯＥから放射状の方
向に一点づつ移動しながら、時間ｔでの窓との輝度差の
絶対値の総和を求める。そして総和が最小になったとき
の窓の移動量が、着目する一点の速度ベクトルとして求
められる（図４（ｂ））。なお、上記輝度差は、窓を構
成する各画素について、例えば（ａ）及び（ｂ）に●で
示す対応する位置の画素間のものである。

【００２１】以上のような処理を時間ｔの画像の全ての
点において繰り返し行うことにより、画像全体のオプテ
ィカルフローを求めることができる。また、窓内の画素
を走査して、着目する点を抽出し、抽出された点を結ん
でオプティカルフローを求めるようにしても良い。

【００２２】次に、危険度を求める方法について説明す
る。オプティカルフローの方向がＦＯＥに向う方向なら
ば後続車両の速度が自車両の速度より遅く、自車両から
離れていくことを示しており、反対にオプティカルフロ
ーの方向がＦＯＥに対して発散する方向である場合は自
車両に接近していることを示している。

【００２３】また、設定した領域内で撮影された風景や
路面上のマーク等によって生ずるオプティカルフローの
方向は全てＦＯＥに向う方向となり、接近する後続車両
と容易に区別できる。したがって、例えば、オプティカ
ルフローの方向がＦＯＥから発散するものに対して、そ
の長さに重み付けをし、重み付けをした値が或るしきい
値を越えたら危険と判断される。また、しきい値を数レ
ベル設定しておき、危険度のレベルを判断することもで
きる。

【００２４】最後に、求められた危険度の大きさに従っ
て警報を鳴らすことによって運転者に対し注意を促せる
ことが可能となる。また、ディスプレイ上にどの領域が
どの程度危険かを表示することも可能になる。さらに危
険レベルにより警報の音色などの種類を変えることも可
能である。更に他のアクチュエータ等に警報信号を出す
ことにより、それらのアクチュエータを操作することも
できる。また、隣接車線領域での警報は、運転者が車線
変更をするためにウインカをオンにしたとき警報を発す
るようにすることも可能である。

【００２５】以上説明した本発明の方法による画像処理
の手順を要約して示すと、図５のようになる。まず、ス
テップＳ１において時間ｔでの画像を取り込み、次にス
テップＳ２において時間ｔ＋Δｔでの画像を取り込む。
その後ステップＳ３においてＦＯＥの設定を行う。その
後ステップＳ４に進んで設定した領域内でＦＯＥから発
散する方向のオプティカルフローのみを求め、次のステ
ップＳ５において重み付けした値によって危険度を計算
する。

【００２６】

【発明の効果】以上説明したように本発明によれば、後
方車両や隣接車線を走行中の車両の存在又はその危険度
を自動的に判断できるため、車両の安全運転が可能とな
る。

【００２７】特に、後方車両又は隣接車線を走行中の車
両上の点のＦＯＥより発散するオプティカルフローの大
きさにより危険を判断するようにしていて、走行してい
る自車両から後景を撮像するビデオカメラを１台もしく
は数台設置し、格別後方車両との間の距離を測定するた
めの距離計を設ける必要がなく、低コストで実現可能で
ある。

【００２８】更に、危険区域及びその度合いを知って適
切な警報を発することができるなどの効果が得られる。

【図面の簡単な説明】

【図１】本発明による方法を実施するための装置の一例
を示すブロック図である。

【図２】図１のビデオカメラが撮像する前景、画像及び
得られるオプティカルフローを示す図である。

【図３】本発明の方法による障害物などの検出の仕方を
説明するための図である。

【図４】本発明の方法によりオプティカルフローの求め
方を説明するための図である。

【図５】本発明の方法の一連の処理を示す図である。

【符号の説明】

１ ビデオカメラ ２，３ 演算処理装置 ４ 警報装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】 走行している自車両から後側景を撮像
   し、所定時間相前後する２コマの画像中の同一点の移動
   をオプティカルフローとして検出し、自車両に対する後
   方車両又は隣接車線を走行中の車両の相対関係を監視す
   る車両用後側方監視方法において、 前記後方車両又は隣接車線を走行中の車両上の点に対し
   て現れる画像内の無限遠点（ＦＯＥ）から発散する方向
   のオプティカルフローのベクトルの大小によって危険度
   を判断することを特徴とする車両用後側方監視方法。
2. 【請求項２】 所定時間相前後する２コマの画像のうち
   の前の画像において、走行している自車両の進行方向の
   正反対方向を示す１点に対応する無限遠点から、着目す
   る１点に対して放射状の方向に細長い窓を設定し、後の
   画像において該窓を前記無限遠点から放射方向に移動し
   ながら、着目する１点を抽出し、前の画像と後の画像の
   点間を結ぶ矢印を１点のオプティカルフローと定めるこ
   とを特徴とする請求項１記載の車両用後側方監視方法。