JP3452268B2 - 車両用後側方監視方法 - Google Patents

車両用後側方監視方法

Info

Publication number
JP3452268B2
JP3452268B2 JP19618693A JP19618693A JP3452268B2 JP 3452268 B2 JP3452268 B2 JP 3452268B2 JP 19618693 A JP19618693 A JP 19618693A JP 19618693 A JP19618693 A JP 19618693A JP 3452268 B2 JP3452268 B2 JP 3452268B2
Authority
JP
Japan
Prior art keywords
vehicle
point
image
optical flow
rear side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19618693A
Other languages
English (en)
Other versions
JPH0750769A (ja
Inventor
真人 中島
貴博 及川
宏二 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP19618693A priority Critical patent/JP3452268B2/ja
Priority to US08/126,298 priority patent/US5521633A/en
Priority to DE4332612A priority patent/DE4332612C2/de
Publication of JPH0750769A publication Critical patent/JPH0750769A/ja
Application granted granted Critical
Publication of JP3452268B2 publication Critical patent/JP3452268B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、自動車などの車両に設
置したビデオカメラによって後方及び側方を撮像した画
像を用いて、車両の走行の際に後方および側方より接近
する車両を検知し運転者に警告を与えるための車両用後
側方監視方法に関するものである。 【0002】 【従来の技術】片側2車線以上の道路を車両が走行中に
車線変更する際、変更しようとする隣接車線を、自車よ
り速い速度で走行中の車両を見落した場合、大事故につ
ながる危険性が大である。また、自車と同じ車線を走行
中の後続車両がある場合、急接近してきた場合などに急
ブレーキをかけると追突される危険性があるため、近接
車両を認識しておく必要がある。 【0003】隣接車線を走行中の車両および後続車両を
認識させる従来例としては特開平1−189289号公
報(車両情報表示装置)が提案されている。この特開平
1−189289号公報には、車両の後方及び側方をカ
メラによって撮影し、撮影された画像をモニタに表示さ
せることによって、隣接車線を走行中の車両および後続
車両を認識させるようにしている。 【0004】 【発明が解決しようとする課題】前述したように、従来
は車両の後方および側方をカメラによって撮影し、撮影
した画像をモニタに表示して隣接車線を走行中の車両お
よび後続車両を認識させるようにしている。したがっ
て、モニタに表示された車両を見落す可能性もあり、ま
た、モニタを見ただけでは隣接車線を走行中の車両およ
び後続車両の速度が自車の速度より速いか否かを直ちに
判定することは困難であった。 【0005】よって本発明は、上述した従来の問題点に
鑑み、車両に設置したビデオカメラからの後側方画像を
用いて、後方の走行車両や隣接車線を走行中の車両によ
る危険度を自動的に判定できるようにした車両用後側方
監視方法を提供することを目的としている。 【0006】また本発明は、ビデオカメラで撮像した後
側方画像を、所定時間毎に同一点の移動をオプティカル
フローとして高速に認識することができるようにした車
両用後側方監視方法を提供することを目的としている。 【0007】 【課題を解決するための手段】上記目的を達成するため
本発明によりなされた車両用後側方監視方法は、走行し
ている自車両から後側景を撮像し、所定時間相前後する
2コマの画像中の同一点の移動をオプティカルフローと
して検出し、自車両に対する後方車両又は隣接車線を走
行中の車両の相対関係を監視する車両用後側方監視方法
において、前記後方車両又は隣接車線を走行中の車両上
の点に対して現れて画像内の無限遠点(FOE)から発
散する方向のオプティカルフローのベクトルを求め、こ
のオプティカルフローのベクトルの大小によって危険度
を判断する車両用後側方監視方法であって、所定時間相
前後する2コマの画像のうちの前の画像において、走行
している自車両の進行方向の正反対方向を示す1点に対
応する無限遠点から、着目する1点に対して放射状の方
向に細長い窓を設定し、後の画像において該窓を前記無
限遠点から放射方向に移動しながら、着目する1点を抽
出し、前の画像と後の画像の点間を結ぶ矢印を1点のオ
プティカルフローと定めることを特徴としている。 【0008】 【0009】 【作用】上記方法によれば、後方車両又は隣接車線を走
行中の車両との距離が小さい程、また相対速度が大きい
程、オプィカルフローが大きくなることに着目して、後
方車両又は隣接車線を走行中の車両上の点のオプティカ
ルフローの大きさにより危険を判断するようにしている
ので、格別後続車両との間の距離を測定するための距離
計を設ける必要がなくなっている。 【0010】オプティカルフローが自車両の進行方向の
正反対の方向を示す1点に対応する無限遠点から放射状
の方向に形成されることに着目して、2コマの画像のう
ちの前の画像において、走行している自車両の進行方向
の正反対の方向を示す1点に対応する無限遠点から、着
目する1点に対して放射状の方向に細長い窓を設定し、
後の画面において該窓を前記無限遠点から放射方向に移
動しながら、着目する1点を抽出して前の画像と後の画
像の点間を結ぶ矢印を1点のオプティカルフローと定め
るようにしているので、計算量の軽減となって処理の高
速化が行える。 【0011】 【実施例】以下、本発明の実施例を図面に基づいて説明
する。図1は本発明による方法を実施するための装置の
構成を示し、同図において、1は後側景を撮像するビデ
オカメラ、2はビデオカメラ1によって得られた画像を
入力し、後述する画像処理を行う演算処理装置、3は演
算処理装置2の画像処理結果から危険度判定処理を行う
演算処理装置、4は警報装置である。 【0012】図2は、ビデオカメラ1によって得られる
後側景画像の変化を説明するための図であり、(b)は
(a)に示す自車両を含む状況においてビデオカメラ1
が時間tで撮像した画像、(c)は時間t+Δtで撮像
した画像をそれぞれ示す。 【0013】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える(a)に示される道路標識及
び建物に注目すると、時間の経過により時間t、時間t
+Δtにおいて、(b)、(c)に示されるような画像
が得られる。この2枚の画像において対応する点を捜し
それらを結ぶと(d)に示されるような速度ベクトルが
得られる。これがオプティカルフローである。また、後
続車両が接近する場合は図2(d)で示すオプティカル
フローの速度ベクトルの方向は逆になる。 【0014】ここでこれらオプティカルフローは、画像
内のFOE(Focus of Expansion)とよばれる1点から
放射状に現れる。FOEとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向の正反対方向を示す1点に対応する。このよう
に、自車両が走行している場合に求められるオプティカ
ルフローは、FOEから放射状の方向である。ここで後
続または隣接車線を走行中の車両から発せられたオプテ
ィカルフローは、自車両に対する後続または隣接車両の
位置、相対速度からなる情報を含んでおり、オプティカ
ルフローが長く、かつその方向がFOEより発散する場
合は危険度が高いと考えられる。 【0015】次に、その詳細を図3を参照して説明す
る。同図の光学的配置おいて、11はビデオカメラのレ
ンズ、12はビデオカメラのイメージプレーン、fはレ
ンズ11からイメージプレーン12までの距離、P
(X,Y,Z)は後続車両上の任意の1点、p(x,
y)はイメージプレーン12上の点Pに対応する点とす
ると、3角形の相似の比から x=f・X/Z ……(2) となる。 【0016】この式を変形して、時間微分すると、 X’=(Δx/Δt・Z+x・Z’)/f ……(3) となる。また、オプティカルフローのx方向成分uとは u=Δx/Δt ……(4) であるので、これを用いて Z=(f・X’−x・Z’)/u ……(5) となる。 【0017】ここで Z’=後続車両ないし隣接車線を走行中の車両と自車両との相対速度=−α ……(6) であるから上式(5)は Z=(f・X’+xα)/u ……(7) となる。よってオプティカルフローのx方向成分uは u=(f・X’+xα)/Z ……(8) となる。Yについても同様に求まる。 【0018】よって上式(8)より、Zが小、すなわち
後続車両又は隣接車線を走行中の車両までの距離が小で
ある程、又はαが大、すなわち相対速度が大である程、
オプティカルフローのx成分は大きくなる。これはY方
向についても同様である。従って、オプティカルフロー
は後続車両などとの距離が小な程、更に相対速度が大な
程長くなり、これよりオプティカルフローの方向がFO
Eに対して発散し、その長さが短いときより長いときの
方が相対的に後続車両又は隣接車両に対する危険度が大
きいと考えられる。 【0019】本発明では、オプティカルフローがFOE
から放射状の向きに求められるということを利用し、高
速にオプティカルフローを求めるようにしており、その
方法を図4に基づいて以下説明する。 【0020】図4は、高速にオプティカル・フローを求
める方法の一実施例を示した図である。まず、始めに時
間tでの画像において着目する一点に対しFOEから放
射状の方向に窓を設定する(図4(a))。次に、時間
t+Δtでの画像において、窓をFOEから放射状の方
向に一点づつ移動しながら、時間tでの窓との輝度差の
絶対値の総和を求める。そして総和が最小になったとき
の窓の移動量が、着目する一点の速度ベクトルとして求
められる(図4(b))。なお、上記輝度差は、窓を構
成する各画素について、例えば(a)及び(b)に●で
示す対応する位置の画素間のものである。 【0021】以上のような処理を時間tの画像の全ての
点において繰り返し行うことにより、画像全体のオプテ
ィカルフローを求めることができる。また、窓内の画素
を走査して、着目する点を抽出し、抽出された点を結ん
でオプティカルフローを求めるようにしても良い。 【0022】次に、危険度を求める方法について説明す
る。オプティカルフローの方向がFOEに向う方向なら
ば後続車両の速度が自車両の速度より遅く、自車両から
離れていくことを示しており、反対にオプティカルフロ
ーの方向がFOEに対して発散する方向である場合は自
車両に接近していることを示している。 【0023】また、設定した領域内で撮影された風景や
路面上のマーク等によって生ずるオプティカルフローの
方向は全てFOEに向う方向となり、接近する後続車両
と容易に区別できる。したがって、例えば、オプティカ
ルフローの方向がFOEから発散するものに対して、そ
の長さに重み付けをし、重み付けをした値が或るしきい
値を越えたら危険と判断される。また、しきい値を数レ
ベル設定しておき、危険度のレベルを判断することもで
きる。 【0024】最後に、求められた危険度の大きさに従っ
て警報を鳴らすことによって運転者に対し注意を促せる
ことが可能となる。また、ディスプレイ上にどの領域が
どの程度危険かを表示することも可能になる。さらに危
険レベルにより警報の音色などの種類を変えることも可
能である。更に他のアクチュエータ等に警報信号を出す
ことにより、それらのアクチュエータを操作することも
できる。また、隣接車線領域での警報は、運転者が車線
変更をするためにウインカをオンにしたとき警報を発す
るようにすることも可能である。 【0025】以上説明した本発明の方法による画像処理
の手順を要約して示すと、図5のようになる。まず、ス
テップS1において時間tでの画像を取り込み、次にス
テップS2において時間t+Δtでの画像を取り込む。
その後ステップS3においてFOEの設定を行う。その
後ステップS4に進んで設定した領域内でFOEから発
散する方向のオプティカルフローのみを求め、次のステ
ップS5において重み付けした値によって危険度を計算
する。 【0026】 【発明の効果】以上説明したように本発明によれば、後
方車両や隣接車線を走行中の車両の存在又はその危険度
を自動的に判断できるため、車両の安全運転が可能とな
る。 【0027】特に、後方車両又は隣接車線を走行中の車
両上の点のFOEより発散するオプティカルフローの大
きさにより危険を判断するようにしていて、走行してい
る自車両から後景を撮像するビデオカメラを1台もしく
は数台設置し、格別後方車両との間の距離を測定するた
めの距離計を設ける必要がなく、低コストで実現可能で
ある。 【0028】更に、危険区域及びその度合いを知って適
切な警報を発することができるなどの効果が得られる。
【図面の簡単な説明】 【図1】本発明による方法を実施するための装置の一例
を示すブロック図である。 【図2】図1のビデオカメラが撮像する前景、画像及び
得られるオプティカルフローを示す図である。 【図3】本発明の方法による障害物などの検出の仕方を
説明するための図である。 【図4】本発明の方法によりオプティカルフローの求め
方を説明するための図である。 【図5】本発明の方法の一連の処理を示す図である。 【符号の説明】 1 ビデオカメラ 2,3 演算処理装置 4 警報装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−241855(JP,A) 特開 平2−218284(JP,A) 特開 昭63−9813(JP,A) 特開 平5−120428(JP,A) 特開 平7−37099(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 B60R 21/00 621 G08B 21/00 H04N 5/225

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 走行している自車両から後側景を撮像
    し、所定時間相前後する2コマの画像中の同一点の移動
    をオプティカルフローとして検出し、自車両に対する後
    方車両又は隣接車線を走行中の車両の相対関係を監視す
    る車両用後側方監視方法において、 前記後方車両又は隣接車線を走行中の車両上の点に対し
    て現れて画像内の無限遠点(FOE)から発散する方向
    のオプティカルフローのベクトルを求め、このオプティ
    カルフローのベクトルの大小によって危険度を判断する
    車両用後側方監視方法であって、所定時間相前後する2
    コマの画像のうちの前の画像において、走行している自
    車両の進行方向の正反対方向を示す1点に対応する無限
    遠点から、着目する1点に対して放射状の方向に細長い
    窓を設定し、後の画像において該窓を前記無限遠点から
    放射方向に移動しながら、着目する1点を抽出し、前の
    画像と後の画像の点間を結ぶ矢印を1点のオプティカル
    フローと定めることを特徴とする車両用後側方監視方
    法。
JP19618693A 1992-09-25 1993-08-06 車両用後側方監視方法 Expired - Fee Related JP3452268B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP19618693A JP3452268B2 (ja) 1993-08-06 1993-08-06 車両用後側方監視方法
US08/126,298 US5521633A (en) 1992-09-25 1993-09-24 Motor vehicle obstacle monitoring system using optical flow processing
DE4332612A DE4332612C2 (de) 1992-09-25 1993-09-24 Außenansichts-Überwachungsverfahren für Kraftfahrzeuge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19618693A JP3452268B2 (ja) 1993-08-06 1993-08-06 車両用後側方監視方法

Publications (2)

Publication Number Publication Date
JPH0750769A JPH0750769A (ja) 1995-02-21
JP3452268B2 true JP3452268B2 (ja) 2003-09-29

Family

ID=16353628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19618693A Expired - Fee Related JP3452268B2 (ja) 1992-09-25 1993-08-06 車両用後側方監視方法

Country Status (1)

Country Link
JP (1) JP3452268B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918863A (ja) * 1995-06-26 1997-01-17 Yazaki Corp 車両用後側方監視装置
JP3635591B2 (ja) * 1995-11-17 2005-04-06 矢崎総業株式会社 車両周辺監視装置
JPH11353565A (ja) 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP3463858B2 (ja) 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP3580475B2 (ja) * 1998-09-14 2004-10-20 矢崎総業株式会社 周辺監視装置
JP3424808B2 (ja) * 1998-10-21 2003-07-07 矢崎総業株式会社 車両用後側方監視装置
JP2000276697A (ja) * 1999-01-18 2000-10-06 Yazaki Corp 車両用周辺監視装置
JP2000247197A (ja) * 1999-02-25 2000-09-12 Yazaki Corp 車両用周辺監視方法、及びこの方法を適用した車両用周辺監視装置
JP4142792B2 (ja) 1999-02-25 2008-09-03 矢崎総業株式会社 車載撮像手段の感度制御方法、及びこの感度制御方法を適用した車両用周辺監視装置
JP3990836B2 (ja) 1999-03-01 2007-10-17 矢崎総業株式会社 車両用周辺監視装置
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
US6292111B1 (en) 1999-03-01 2001-09-18 Yazaki Corporation Vehicle-applied rear-and-side monitoring system and vehicle-applied rear-and-side monitoring and alarming system
JP2000259998A (ja) 1999-03-12 2000-09-22 Yazaki Corp 車両用後側方監視装置
JP3675231B2 (ja) * 1999-06-14 2005-07-27 三菱自動車工業株式会社 含水物付着検出装置
JP4257627B2 (ja) * 1999-11-19 2009-04-22 日本精機株式会社 雨滴検出装置
ES2158827B1 (es) * 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
JP2002308030A (ja) 2001-04-16 2002-10-23 Yazaki Corp 車両用周辺監視装置
JP3969984B2 (ja) * 2001-09-25 2007-09-05 ダイハツ工業株式会社 移動物体の認識方法
JP2003150941A (ja) * 2001-11-19 2003-05-23 Daihatsu Motor Co Ltd 移動物体の認識装置及び認識方法
JP3776094B2 (ja) * 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
US7266220B2 (en) 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP4259368B2 (ja) * 2004-03-26 2009-04-30 三菱自動車工業株式会社 ノーズビューモニタ装置
JP2005306320A (ja) * 2004-04-26 2005-11-04 Mitsubishi Motors Corp 制動制御装置
JP4096932B2 (ja) * 2004-09-22 2008-06-04 日産自動車株式会社 車両用衝突時間推定装置及び車両用衝突時間推定方法
JP2006268865A (ja) * 2006-04-07 2006-10-05 Pioneer Electronic Corp ナビゲーション装置
KR100791381B1 (ko) * 2006-06-01 2008-01-07 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
JP4289421B2 (ja) * 2007-05-14 2009-07-01 株式会社デンソー 車両制御装置
JP5410730B2 (ja) * 2008-10-09 2014-02-05 日立オートモティブシステムズ株式会社 自動車の外界認識装置
JP5361901B2 (ja) * 2008-10-31 2013-12-04 株式会社小糸製作所 前照灯制御装置
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
JP2013196387A (ja) * 2012-03-19 2013-09-30 Pioneer Electronic Corp 画像処理装置、及び画像処理方法
EP2998934B1 (en) * 2013-05-16 2020-08-05 Sony Corporation Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JPH0750769A (ja) 1995-02-21

Similar Documents

Publication Publication Date Title
JP3452268B2 (ja) 車両用後側方監視方法
JP2863381B2 (ja) 車両用監視方法
JP4287532B2 (ja) 車両用後側方監視装置
US6246961B1 (en) Collision alarm method and apparatus for vehicles
JPH06281455A (ja) 車両周辺監視装置
JP2008060874A (ja) 車載カメラ及び車載カメラ用付着物検出装置
JP3246243B2 (ja) 車線逸脱警報装置
JP2002314989A (ja) 車両用周辺監視装置
JP3990836B2 (ja) 車両用周辺監視装置
JPH08202999A (ja) 車両用周囲状況監視装置
JP2994170B2 (ja) 車両周辺監視装置
JP3464368B2 (ja) 車両用後側方監視装置
JP3351340B2 (ja) オプティカルフロー式後方情報検出装置
JP4003569B2 (ja) 交差点事故防止装置及びプログラム
JP3398934B2 (ja) 車両用監視方法
JP3729005B2 (ja) 車両の後方監視装置
JP2005309660A (ja) 車両用右左折支援装置
JP2003255430A (ja) 映像診断装置、車載型映像監視装置の映像診断システム
JPS61135842A (ja) 車両用物体認識装置
JP3949628B2 (ja) 車両の周辺監視装置
JP2000251199A (ja) 車両用後側方監視装置
JP2001023092A (ja) 車両周辺領域監視装置
JPH1142988A (ja) 車両用後側方監視方法及び車両用後側方監視装置
JP3543912B2 (ja) オプティカルフロー検出方法
JP3292292B2 (ja) オプティカルフロー検出方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030624

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees