JP3463858B2 - 周辺監視装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車などの車両
等に設置されたビデオカメラ等の撮像手段によって、車
両の前方、後方及び後側方を撮像し、撮像された画像を
用いて、走行している自車両の前方、後方及び後側方よ
り接近してくる他車両を検知し、運転者に警告を与える
ための周辺監視装置及び方法に関するものである。

【０００２】

【従来の技術】例えば、高速道路などの片側２車線以上
の道路を走行中の自動車等の車両の運転者が、異なった
車線への移動、すなわち車線の変更を行おうとした場
合、その車両（自車両）が変更しようとする隣接車線
に、自車両よりも速いスピードにて走行中の別の車両
（周囲の他車両）が後側方から追い上げてきた場合など
に、前記別の車両の存在を見落としたまま、前記運転者
が車線の変更を行った場合、大事故につながる可能性が
極めて高い。

【０００３】また、自車両と同一の車線を、後続して別
の車両が走行している場合などにも、後続の他の車両が
自車両よりも速いスピード（対地速度）にて急接近して
きたような場合には、自車両が急ブレーキをかけるなど
すると追突される危険性があり、この意味でも周囲の他
車両を確実に認識しておくことが望ましい。

【０００４】さらには、運転者が居眠りをした場合など
で、自車両と同一の車線前方を他の車両が自車両よりも
遅いスピード走行していた場合など、前方の車両に追突
する危険性があり、やはり周囲の他車両を確実に認識し
ておくことが望ましい。

【０００５】特に近年では、乗用車をはじめとして道路
上を走行する各種の車両は、その走行速度も加速度も共
に強化され、高性能化の傾向にあり、上述の車線の変更
や加減速等の際における車両の動きはさらに俊敏なもの
となり、その結果、自車両の周囲を走行中の別の車両
（周囲の他車両）の存在を、前記運転者が見落とすこと
に起因した、大事故に発展しかねない危険な状態や、実
際の大事故発生の確率がますます高まってきている。

【０００６】運転者による自車両以外の別の車両（周囲
の他車両）の見落としを防ぐためには、先ず、運転者自
身が周囲に対してさらに注意を喚起することが必要であ
ることは言うまでもないが、一方で、人間の集中力や認
知能力は、前述のような車両性能の向上に対して追随可
能な限界値に達しつつあるのも事実であり、実際、その
ような限界値の領域における周囲の他車両の存在の見落
としなどに起因した事故が増加の傾向にある。

【０００７】また、特に高速走行となるにしたがって、
人間の視覚的な認識能力は急激に低下することが一般的
に知られており、車両のさらなる高速走行への対応につ
れ、上述のような、車線変更時等に発生する周囲の他車
両の存在の見落としなどの問題等の、さらなる深刻化が
危惧されている。

【０００８】したがって、上述のような大事故に発展し
かねない危険な状態や、実際の大事故の発生を未然に防
止するためには、単に運転者による周囲の別の車両への
注意の喚起を高めるだけでは不十分であり、自車両の周
囲を走行中の別の車両（周囲の他車両）の存在を自動的
に正確に且つ確実に認識し、その情報を運転者に明確に
伝達（通知）してやることにより、人間の有する有限な
認識力を補完してやる必要がある。

【０００９】従来より、このような危険性の問題を解決
するための技術として、特開平６−１０７０９６号公報
及び特開平７−５０７６９号公報に記載のものがある。
特開平６−１０７０９６号公報にはオプティカルフロー
の検出を応用した接近車両の検出，及び衝突警報システ
ムについての開示がなされており、特開平７−５０７６
９号公報にはオプティカルフローの検出を応用し、自車
両に対する後側方からの接近車両を検出し、自車両が進
路変更する際に他車両と衝突の危険が有る場合に警報を
発するシステムについて開示がなされている。

【００１０】このような従来の車両用周辺監視装置につ
いて、その主要点を図２０及び図２１を参照して説明す
る。図２０は、ビデオカメラ１によって得られる後側景
画像の変化を説明するための図であり、（ｂ）は（ａ）
に示す自車両を含む状況においてビデオカメラ１が時間
ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画
像をそれぞれ示す。

【００１１】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、時間の経過により時間ｔ、時間ｔ
＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像
が得られる。この２枚の画像において対応する点を捜し
それらを結ぶと（ｄ）に示されるような速度ベクトルが
得られる。これがオプティカルフローである。また、後
続車両が接近する場合は図２０（ｄ）で示すオプティカ
ルフローのベクトルの方向は逆になる。

【００１２】ここでこれらオプティカルフローは、画像
内のＦＯＥ（Focus of Expansion）とよばれる１点から
放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼
ばれ、車両が直進している場合画像上において自車両の
進行方向の正反対方向を示す１点に対応する。このよう
に、自車両が走行している場合に求められるオプティカ
ルフローは、ＦＯＥから放射状の方向である。ここで後
続または隣接車線を走行中の車両から発せられたオプテ
ィカルフローは、自車両に対する後続または隣接車両の
位置、相対速度からなる情報を含んでおり、オプティカ
ルフローが長く、かつその方向がＦＯＥより発散する場
合は危険度が高いと考えられる。

【００１３】次に、その詳細を図２１を参照して説明す
る。同図の光学的配置おいて、１１はビデオカメラのレ
ンズ、１２はビデオカメラのイメージプレーン、ｆはレ
ンズ１１からイメージプレーン１２までの距離、Ｐ
（Ｘ，Ｙ，Ｚ）は後続車両上の任意の１点、ｐ（ｘ，
ｙ）はイメージプレーン１２上の点Ｐに対応する点とす
ると、３角形の相似の比から ｘ＝ｆ・Ｘ／Ｚ ……（１） となる。

【００１４】この式を変形して、時間微分すると、 Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（２） となる。また、オプティカルフローのｘ方向成分ｕとは ｕ＝Δｘ／Δｔ ……（３） であるので、これを用いて Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（４） となる。

【００１５】 ここで、上記Ｚ’は後続車両ないし隣接車線を走行中の他車両と自車両との相 対速度であるから、これをＺ’＝−α ……（５） とすると、上式（５）は、 Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（６） となる。よってオプティカルフローのｘ方向成分（即ちΔｘ／Δｔ＝ｕ）は、 ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（７） となる。Ｙについても同様に求まる。

【００１６】よって上式（７）より、Ｚが小、すなわち
後続車両又は隣接車線を走行中の車両までの距離が小で
ある程、又はαが大（相対速度が大）である程、オプテ
ィカルフローのｘ成分は大きくなる。これはＹ方向につ
いても同様である。

【００１７】従って、オプティカルフローは後続車両な
どとの距離が小な程、また、相対速度が大な程長くな
り、これよりオプティカルフローの方向がＦＯＥに対し
て発散し、その長さが短いときより長いときの方が相対
的に後続車両又は隣接車両に対する危険度が大きいと求
められる。

【００１８】以上のような処理を、時間ｔの画像の全て
の点において繰り返し行うことにより、画像全体のオプ
ティカルフローを求めることができ、各対象物における
危険度が求められる。そして、求められた危険度の大き
さに従って警報を鳴らすこと等によって運転者に対し注
意を促し、これにより、人間の有する有限な認識力を補
完することができ、上述の大事故に発展しかねない危険
な状態や、実際の大事故の発生を未然に防止している。

【００１９】また、従来の技術では、図２２に示す如く
に、直線道路にて自車両が走行している車線の白線を検
出することで、自車両走行車線とその横の隣接車線領域
とを識別し、監視領域を決定することで監視不要なもの
についての処理時間を省いて処理の高速化を図ってい
る。そして、検出された白線の延長からＦＯＥ点を求
め、自車線領域及び隣接車線領域についてそれぞれ前記
ＦＯＥ点から放射状にオプティカルフローを求めること
で自車両に対する接近車両１０２の検出を行っており、
このオプティカルフローの大きさに基づき認識を行うよ
う構成されているので、後方や隣接車線を走行している
他車両１０２に関し、その危険度を自動的に判断でき、
且つ、特別な距離計を必要としない利点があり有効であ
る。

【００２０】オプティカルフローとは、３次元空間にお
けるカメラと対象物体との相対的な運動によって生じる
画像上での動きベクトルを表す。現在提案されているオ
プティカルフロー検出方法の中で、実用化に近いレベル
まで達しているものは、相関法と濃度勾配法である。

【００２１】ところで、車両から撮像して得た動画像
は、非常に速い速度で接近してくる背景から発生するオ
プティカルフローと、さまざまな速度で接近したり遠ざ
かったりする前方車両から発生するオプティカルフロー
とが混在し、時間的に複雑に変化するという特徴があ
る。したがって、濃度勾配法において必要とされる、画
像の輝度変化が時間・空間的に滑らかであるという仮定
が成立しないため、正確なオプティカルフローを検出す
ることができないと考えられる。即ち、濃度勾配法は、
本発明が対象としているような動画像に関しては不向き
な方法であるといえる。

【００２２】一方、相関法は、設定した窓の対応点を周
辺の領域全方向に関して探索し、相関値の計算を行う必
要があるため、計算量が膨大になってしまうという問題
点があるが、本発明が対象としているような複雑な画像
に関しても、比較的正確にオプティカルフローを求める
ことが可能であるという利点もある。

【００２３】

【発明が解決しようとする課題】上述したように、一般
的な相関法においては、ある時刻ｔ＝Ｔの画像に関して
オプティカルフローを求める際には、時刻ｔ＝Ｔの画像
の全画素について、それぞれの画素が、時刻ｔ＝Ｔ−Δ
Ｔの画像において、どの画素に対応しているかを全方向
にわたって探索する必要があるため、計算量が膨大にな
ると同時に誤対応が生じるという問題点がある。即ち、
対応点探索の際に、全画素に関して全方向に探索してい
ることにより、計算量が膨大となり誤対応が多くなる原
因になっているといえる。

【００２４】そこで、監視領域を設定することにより、
監視領域外の壁や先行車両を検出するという問題点は解
消されることになる。しかし、設定された監視領域内の
全画素に関して、対応点探索を行ったとしても、依然と
して、処理時間および検出精度の面で問題は残る。

【００２５】一般に、対応点の探索は、特徴的なテクス
チャを持つ画素以外に関しては正しく行うことができな
い。例えば、時刻ΔＴの時間差にて撮像された２枚の画
像間にて対応点探索を行う場合について考えてみると、
路面のアスファルトのように濃度分布の狭い一様なテク
スチャに対して対応点探索を行っても、道路上のあらゆ
る点が対応点の候補となり、計算量の増加と同時に誤対
応の原因となってしまう。したがって、対応点探索を正
しく行うためには、特徴的なテクスチャを持つ画素を抽
出する必要がある。

【００２６】特徴的なテクスチャを持つ画素を抽出する
ことを考えた場合、最も簡単な方法としては、画像のエ
ッジを抽出するということが考えられる。しかし、前記
時刻ΔＴの時間差にて撮像された画像についてエッジ抽
出を行った場合、オプティカルフローを検出すべきでは
ない路面上の文字（「止まれ」などのペイント文字等）
もエッジとして抽出されることになり、このような画素
に関しても対応点探索を行うことによって計算量が増加
する原因となる。

【００２７】さらに、路面上にゼブラゾーンや速度規制
等の模様や文字等がペイントされていた場合、これらペ
イントからオプティカルフローが発生してしまう。本
来、接近車両からのオプティカルフローのみを抽出した
いのであるが、これら路面上のペイントからもオプティ
カルフローが発生してしまうことにより、路面上からの
オプティカルフローが接近車両からのものであると誤検
出されることになるという問題点があった。

【００２８】本発明は、上記問題に鑑みてなされたもの
で、路面上のペイントなどの検出不要な物体を周辺の他
車両として誤検出してしまうことをないようにした周辺
監視装置及び方法を提供することを課題とするものであ
る。

【００２９】

【課題を解決するための手段】上記課題を解決するため
なされた請求項１記載の発明は、図１の基本構成図から
明らかなように、自車両から前方、後方または後側方を
撮像手段２１により撮像して一定時間毎に画像を得、該
画像に基づいて自車両の走行している自車線の白線を検
出すると共に、該検出した白線に基づいて監視領域設定
手段２３−１により自車線領域又は隣接車線領域に監視
領域を設定し、該設定した監視領域内にある周辺の他車
両から発生するオプティカルフローをオプティカルフロ
ー検出手段２３−２により検出し、該検出したオプティ
カルフローを用いて自車両と周辺の他車両との相対関係
を監視する周辺監視装置において、前記オプティカルフ
ロー検出手段２３−２は、前記画像を、前記撮像手段の
所定の光学配置に基づいて、実空間における路面に平行
なｘｚ平面に逆射影変換して路面画像を得、前記一定時
間と自車両の速度情報とから相前後する２つの前記画像
における自車両の移動距離を算出し、該算出した移動距
離分だけ前記路面画像を平行移動し、該平行移動した路
面画像を射影変換して当該画像より時間的に遅い方の画
像の推定画像を得、前記時間的に遅い方の画像と前記推
定画像との差分をとって特徴点の抽出を行い、該抽出し
た特徴点に関して対応点の探索を行って前記オプティカ
ルフローの検出を行うことを特徴とする周辺監視装置に
存する。

【００３０】上記請求項１に記載の発明である周辺監視
装置においては、オプティカルフロー検出手段２３−２
は、画像を、撮像手段の所定の光学配置に基づいて、実
空間における路面に平行なｘｚ平面に逆射影変換して路
面画像を得、一定時間と自車両の速度情報とから相前後
する２つの画像における自車両の移動距離を算出し、算
出した移動距離分だけ路面画像を平行移動し、平行移動
後の路面画像を射影変換して当該画像より時間的に遅い
方の画像の推定画像を得、時間的に遅い方の画像と推定
画像との差分をとって特徴点の抽出を行い、抽出した特
徴点に関して対応点の探索を行ってオプティカルフロー
の検出を行うようにしている。よって、オプティカルフ
ローを検出すべきでない路面上の影や文字、汚れなどが
全て消去され、オプティカルフローを検出すべき対象物
だけが残して対応点探索を行うことができる。

【００３１】請求項２記載の発明は、前記路面画像を射
影変換する前に、前記路面画像における自車両近傍の白
線の角度をそれぞれ算出し、それらの平均角度を求め、
前記ｘｚ座標の原点を中心として前記路面画像を前記平
均角度だけ回転させ、該回転した路面画像を射影変換す
ることを特徴とする請求項１記載の周辺監視装置に存す
る。

【００３２】上記請求項２に記載の発明である周辺監視
装置においては、オプティカルフロー検出手段２３−２
は、平行移動後の路面画像における自車両近傍の白線の
角度をそれぞれ算出し、それらの平均角度を求め、ｘｚ
座標の原点を中心として路面画像を平均角度だけ回転さ
せ、回転した路面画像を射影変換して当該画像より時間
的に遅い方の画像の推定画像を得るようにしている。よ
って、カーブ路を考慮した推定画面をを得ることがで
き、オプティカルフローを検出すべきでない路面上の影
や文字、汚れなどが全て消去され、自車両がカーブ路を
走行している場合であっても、オプティカルフローを検
出すべき対象物だけが残して対応点探索を行うことがで
きる。

【００３３】請求項３記載の発明は、請求項１又は２記
載の周辺監視装置において、前記オプティカルフローの
大きさをｌ_i 、オプティカルフローの発生数をＮとした
場合、前方または後側方視界における危険度Ｄを、 で示されるオプティカルフローの大きさの平均値ｌが、
予め設定した値以上になった場合に危険であると判断す
る危険度評価手段２３−３をさらに備えることを特徴と
する周辺監視装置に存する。

【００３４】上記請求項３記載の発明である周辺監視装
置においては、危険度評価手段２３−３が、前方または
後側方視界における危険度を示すオプティカルフローの
大きさの平均値が予め設定した値以上になった場合に危
険であると判断するようにしている。よって、周囲の他
車両の種類や色、大きさ、さらには昼夜のように周囲の
明るさに依存するオプティカルフローの発生数に左右さ
れることなく、危険度の評価を行うことができる。

【００３５】請求項４記載の発明は、請求項３記載の周
辺監視装置において、前記危険度評価手段がさらに、前
記オプティカルフローの発生数が予め設定した値以上に
なった場合に危険であると判断することを特徴とする周
辺監視装置に存する。

【００３６】請求項４に記載の発明である周辺監視装置
においては、オプティカルフローの発生数Ｎが予め設定
した値以上になった場合に危険度評価手段が危険である
と判断するようにしている。よって、自車両と周囲の他
車両との相対速度がゼロで、オプティカルフローの大き
さがゼロであっても、自車両と前方車両との車間距離が
非常に近い場合には危険度が高くなり、周囲の他車両と
の車間距離が小さい場合には、車種や色、大きさに依ら
ずオプティカルフローの発生数Ｎが多くなることを利用
して危険であると判断することができる。

【００３７】また、上記課題を解決するためなされた請
求項５記載の発明は、自車両から前方または後側方を撮
像手段により撮像して一定時間毎に画像を得、該画像に
基づいて自車両の走行している自車線の白線を検出する
と共に、該検出した白線に基づいて自車線領域やそれ以
外の領域に監視領域を設定し、該設定した監視領域内に
ある周辺の他車両から発生するオプティカルフローを検
出し、該検出したオプティカルフローを用いて自車両と
周辺の他車両との相対関係を監視する周辺監視方法にお
いて、前記画像を、前記撮像手段の所定の光学配置に基
づいて、実空間における路面に平行なｘｚ平面に逆射影
変換して路面画像を得、前記一定時間と自車両の速度情
報とから相前後する２つの前記画像における自車両の移
動距離を算出し、該算出した移動距離分だけ前記路面画
像を平行移動し、該平行移動した路面画像を射影変換し
て当該画像より時間的に遅い方の画像の推定画像を得、
前記時間的に遅い方の画像と前記推定画像との差分をと
って特徴点の抽出を行い、該抽出した特徴点に関して対
応点の探索を行って前記オプティカルフローの検出を行
うことを特徴とする周辺監視方法に存する。

【００３８】請求項５記載の発明である周辺監視方法に
おいては、画像を、撮像手段の所定の光学配置に基づい
て、実空間における路面に平行なｘｚ平面に逆射影変換
して路面画像を得、一定時間と自車両の速度情報とから
相前後する２つの画像における自車両の移動距離を算出
し、算出した移動距離分だけ路面画像を平行移動し、平
行移動後の路面画像を射影変換して当該画像より時間的
に遅い方の画像の推定画像を得、時間的に遅い方の画像
と推定画像との差分をとって特徴点の抽出を行い、抽出
した特徴点に関して対応点の探索を行ってオプティカル
フローの検出を行うようにしている。よって、オプティ
カルフローを検出すべきでない路面上の影や文字、汚れ
などが全て消去され、オプティカルフローを検出すべき
対象物だけが残して対応点探索を行うことができる。

【００３９】請求項６記載の発明は、請求項５記載の周
辺監視方法において、前記平行移動した路面画像を射影
変換する前に、前記路面画像における自車両近傍の白線
の角度をそれぞれ算出し、それらの平均角度を求め、前
記ｘｚ座標の原点を中心として前記路面画像を前記平均
角度だけ回転させ、該回転した路面画像を射影変換する
ことを特徴とする周辺監視方法に存する。

【００４０】請求項７記載の発明である周辺監視方法に
おいては、平行移動後の路面画像における自車両近傍の
白線の角度をそれぞれ算出し、それらの平均角度を求
め、ｘｚ座標の原点を中心として路面画像を平均角度だ
け回転させ、回転した路面画像を射影変換して当該画像
より時間的に遅い方の画像の推定画像を得るようにして
いる。よって、カーブ路を考慮した推定画面をを得るこ
とができので、オプティカルフローを検出すべきでない
路面上の影や文字、汚れなどが全て消去され、自車両が
カーブ路を走行している場合であっても、オプティカル
フローを検出すべき対象物だけが残して対応点探索を行
うことができる。

【００４１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明を行う。図２は本発明の周辺監視
装置の構成を示したブロック図である。尚、以降、本発
明の実施の形態では、周辺監視装置が車両の前方を監視
する場合を例にして説明を行う。

【００４２】図２において、２１は前方景を撮像するビ
デオカメラ、２２はビデオカメラ２１によって得られた
画像を入力し、画像処理を行う画像処理装置、２３は画
像処理装置２２の画像処理結果から後述の各種演算処理
並びに危険度判定処理を行う演算処理装置、２４は警報
装置、２５はビデオカメラ２１の移動速度である自車両
の速度を検出して演算処理装置２３に通知する速度検出
装置である。

【００４３】図３は本発明の周辺監視装置における動作
の概要を示したフローチャートである。本発明による周
辺監視装置は、図３のフローチャートに示す如くに、ま
ず高速道路等を走行した際に取得した、時間的に連続す
る２枚の画像（時刻ｔ−Δｔでの画像及び時刻ｔでの画
像）を計算機により構成された演算処理装置２３内に取
り込む（ステップＳ１，Ｓ２）。次に、ある時刻ｔの画
像上において、自車両が走行している車線（以下、自車
線と呼ぶ）を示す白や黄色で描かれたレーンマーカ（以
下、単に白線と呼ぶ）を検出することにより、自車線領
域の推定を行う（ステップＳ３）。

【００４４】そして、時刻ｔの画像とともに時刻ｔ−Δ
ｔの画像を用いることにより、推定された自車線領域内
に存在する他車両から発生するオプティカルフローを検
出する（ステップＳ４）。その後に、検出されたオプテ
ィカルフローから車両前方における危険度を評価し（ス
テップＳ５）、危険であると判断された場合には、運転
者に対して警告を行うための警告信号を警報装置２４に
対して出力する（ステップＳ６）というものである。

【００４５】以上により、演算処理装置２３は、監視領
域設定手段２３−１としての他、オプティカルフロー検
出手段２３−２及び危険度評価手段として働いている。

【００４６】以降、本発明におけるそれぞれの処理に関
する詳細な説明を行う。 〔自車両前方の動画像の取得〕図３のステップＳ１及び
ステップＳ２にて、ビデオカメラ２１，画像処理装置２
２を介して演算処理装置２３内に取り込まれた、時間的
に連続する２枚の画像、即ち時間的に早い方の時刻ｔ−
Δｔでの画像及び時間的に遅い方の時刻ｔでの画像は、
図３のステップＳ３にて最初の画像処理である自車線領
域の推定が行われる。

【００４７】本発明では、比較的急なカーブが多く存在
する高速道路等を走行している場合にも、正しく自車両
前方の監視を行うことができるように、まず自車線領域
の推定という処理を行うことにより、監視領域を決定す
る。従来の周辺監視装置では、対象を高速道路の中でも
直線道路あるいは緩やかなカーブ路としており、比較的
急なカーブを想定していない。そのため、直線道路や非
常に緩やかなカーブ路を想定し、あらかじめ監視領域を
設定してしまっているものや、自車両近傍の白線を直線
近似し、その２直線で囲まれる範囲を監視領域としてい
るものが多い。

【００４８】このため、図２２に示す如くの直線道路を
走行している時は問題ないが、図２３に示す如くの、比
較的急なカーブ路を走行している時には、検出すべきで
はない壁や標識あるいは隣接車線を走行している車両が
監視領域に入ってしまう場合や、検出すべき自車線を走
行中の前方車両が監視領域内に入らないという場合が発
生する。

【００４９】自車線領域の推定は、まず左右２本の白線
の検出を行い、検出された２本の白線で囲まれる範囲を
自車線の領域と判断し、これを監視領域とするのが一般
的な方法であり、従来の車両用周辺監視装置に多く用い
られている。

【００５０】一般的に、白線は実空間上において遠くに
存在するほど、画像平面上においては小さく撮像される
ことになる。そのため、曲線当てはめを行うためにエッ
ジ情報を用いる場合、遠くに存在する白線ほど、白線の
エッジであるという信頼性は低くなる。すなわち、遠く
の白線に関しては、白線のエッジであるか、白線以外の
エッジであるかという区別が困難になり、エッジ抽出の
際のエラーが多くなると考えられる。そして、その後
に、エラーを含んだエッジに対して、ある１本の曲線を
当てはめることになり、遠くの白線のエラーによって近
くの白線に対してさえも正しく曲線を当てはめることが
できないというような問題点が生じることも考えられ
る。

【００５１】このように、比較的急なカーブ路を含むあ
らゆる道路に対して、画像平面上においてある一本の曲
線を厳密に当てはめるということは非常に困難であると
思われる。そこで本発明では、処理の簡単化および必要
とされる精度などを考慮し、以下のような方法を用いる
ことにする。

【００５２】〔自車線領域の推定〕以下、図４のフロー
チャートを参照しながら自車線領域の推定方法について
詳細に説明を行う。図４は本発明の周辺監視装置におけ
る自車線領域の推定方法の一例を示したフローチャート
である。

【００５３】図４に示す如くに本発明の周辺監視装置に
おける自車線領域の推定方法は、画像上で路面が存在す
ると考えられる範囲を小領域への分割するステップＳ３
−１と、前の画像について分割された小領域毎に既に求
められている仮想ＦＯＥの座標を用い、白線を正確に検
出するため白線の候補となるエッジを抽出するステップ
Ｓ３−２と、このステップにて抽出された複数のエッジ
群の中から、最も白線らしいと思われるエッジ群に対
し、小領域毎に直線を当てはめ各小領域における直線を
決定するステップＳ３−３と、各小領域の左右２本の直
線を延長した交点を仮想ＦＯＥの座標として推定するス
テップＳ３−４の４つのステップからなる。

【００５４】以上により、自車線領域推定手段２３−１
を構成している演算処置装置２３は、小領域分割手段、
エッジ抽出手段、白線決定手段、仮想ＦＯＥ推定手段と
して働いている。

【００５５】先ず、図４のステップＳ３−１の小領域へ
の分割について説明を行う。本発明のような運転支援シ
ステムを目的とした、道路画像における白線検出に関す
る数多くの出願がなされている。本発明では、路面上の
影や文字、汚れ、あるいは白線の隠れや途切れに対して
可能な限りロバストに、白線検出することを目的の１つ
としている。また、比較的急なカーブ路が多く存在する
高速道路なども対象としているために、直線道路だけで
なくカーブ路にも対応できるものとなっている。さら
に、運転支援システムといった性格上、処理の高速性が
非常に重要となるために、個々の処理はできるたで簡単
化する必要がある。

【００５６】したがって、本発明では、図５（ａ）に示
すような原画像上で路面が存在すると考えられる範囲を
図５（ｂ）に示すように５つの小領域に分割する（ステ
ップＳ３−１）。これは、それぞれの小領域毎に、存在
するエッジに対して、例えばＨＯＵＧＨ変換等を用いて
直線近似を行うことにより、前記各小領域における左右
２本の直線を検出し、そして、検出された２直線で囲ま
れる領域を自車線領域とすることにするためのものであ
る。ここで、それぞれの小領域を画像上で下から上、す
なわち実空間において自車両に近い方から遠い方に向か
って、小領域１，…，５と呼ぶ。尚、図５（ｂ）では、
画像上で路面が存在すると考えられる範囲を５つの小領
域に分割したが、これに限定されるものではない。

【００５７】次に、図４のステップＳ３−２のエッジ抽
出について説明を行う。このステップＳ３−２は、詳細
には後述するステップＳ３−４において推定した前の画
像について分割された小領域毎に既に求められている仮
想ＦＯＥの座標を用い、白線を正確に検出するため白線
の候補となるエッジを抽出するためのものである。ここ
で、仮想ＦＯＥ１，…，５の位置は、連続する２枚の画
像の時間間隔が微小の場合には、２枚の画像間で大きく
移動することはない。本発明では、この特徴を用いるこ
とにより、路面上の影や文字、汚れ、あるいは白線の隠
れや途切れに対してロバストに、自車線を示す左右２本
の白線検出を行うが、この特徴を理解し易くするため、
ステップＳ３−４における仮想ＦＯＥの推定を先に説明
する。

【００５８】本発明で扱うような車両前方の動画像にお
いて、直線道路を走行している場合を想定すると、図６
で示すように、実空間上において、カメラに対して相対
的に接近してくる全ての物体は、画像平面上においては
画像上の固定されたある１点から放射状に広がる方向に
移動し、カメラに対して相対的に遠ざかる全ての物体
は、同様の点に向かって収束する方向に移動すると考え
られる。そして、その画像上のある１点はＦＯＥ（Focu
s Of Expansion）と呼ばれている。図６は直線道路走行
時におけるＦＯＥを示した図である。

【００５９】しかし、本発明が対象とするような急なカ
ーブ路を走行している場合には、厳密な意味でのＦＯＥ
は存在しない。したがって、本発明では、図７で示され
るように、各小領域１，…，５における左右２本の直線
を延長した交点をそれぞれ仮想ＦＯＥ１，…，５とする
（ステップＳ３−４）。図７は各小領域毎の仮想ＦＯＥ
を示した図である。

【００６０】一般的に、直線道路を走行している場合に
は、ＦＯＥは動画像上で移動することはない。これに対
して、本発明で定義した仮想ＦＯＥは動画像上で移動す
るが、連続する２枚の画像の時間間隔が微小の場合に
は、２枚の画像間における仮想ＦＯＥの移動量は微小で
あるという特徴がある。本発明では、この特徴を用いる
ことにより、路面上の影や文字、汚れ、あるいは白線の
隠れや途切れに対してロバストに、自車線を示す左右２
本の白線を検出している（後述）。

【００６１】また、上述のように直線道路を走行してい
る場合には、実空間上において、カメラに対して相対的
に接近してくる全ての物体は、動画像上ではＦＯＥから
放射状に広がる方向に移動し、カメラに対して相対的に
遠ざかる全ての物体は、ＦＯＥに向かって収束する方向
に移動する。これに対して、カーブを走行している場合
には、厳密な意味でのＦＯＥは存在しないが、各小領域
１，…，５に存在する物体は、動画像上でそれぞれ仮想
ＦＯＥ１，…，５を中心とした放射状の方向に移動する
と考えられる。本発明では、この特徴を用いることによ
り、カーブ路を走行している場合にも高速かつ精度良く
オプティカルフローを検出している（後述）。

【００６２】上述した仮想ＦＯＥの座標を用い、ステッ
プＳ３−１において分割した各小領域ごとに自車線を示
す左右２本の白線を正確に検出するため白線の候補とな
るエッジを抽出するステップＳ３−２の説明に戻る。

【００６３】常に、路面の輝度は低くしかも一様であ
り、白線は路面と比較して輝度が十分に高い、というよ
うな理想的な画像であれば、白線を検出することは容易
である。しかし、実際の道路画像では、上述のように路
面上に影や文字、汚れがあったり、白線が他車両などに
よって隠れていたり途切れていたりすることが多い。エ
ッジを抽出する段階で、それら白線以外のエッジを全て
除去し、白線のエッジだけを正しく選び出すことができ
れば良いのだが、実際の画像でそれを行うのは非常に困
難である。

【００６４】したがって、本発明では、エッジ抽出の段
階で、それが白線のエッジであるか、それ以外のエッジ
であるかを完全に判断してしまうのではなく、この段階
では白線らしいと思われるエッジ群を候補として幾つか
抽出しておき、その後に、抽出された候補の中から最も
白線らしいと思われる組み合わせを選び出すことにす
る。

【００６５】ここでは、白線らしいと思われる複数のエ
ッジ群を抽出する方法について述べる。実際は、５つの
小領域全てに関して同様の処理を行うのであるが、ここ
では簡単のために小領域３に関してのみ説明する。

【００６６】ある時刻ｔ＝Ｔにおける画像に関してエッ
ジ抽出を行う場合には、図８（ａ）に示す如くに、時間
的に接近している前画像を画像処理することで既に決定
している仮想ＦＯＥ３の座標を中心として、図８（ｂ）
に示すように、ある微小な角度を持った扇型の領域を少
しずつ回転させていき、それぞれの領域ごとにエッジ抽
出を行っていき、領域内のエッジ数があるしきい値以上
の場合に、これらを白線候補のエッジ群とする。図８
（ｂ）はエッジ抽出の方法を示した図である。

【００６７】ところで、既述したように、時間間隔が微
小の場合、仮想ＦＯＥの位置は大きく変化することはな
い。したがって、このような処理を行うことにより、実
際の白線が存在する方向とは大きく異なる方向を持った
エッジはノイズとして完全に除去されることになる。そ
して、同時に、実際の白線が存在する方向と同様の方向
を持つエッジが仮にあったとしても、図８（ｂ）に示す
如くに、白線のエッジとそれ以外のエッジとは分離する
ことが可能となる。このようにして、白線らしいと思わ
れる複数のエッジ群が抽出される（ステップＳ３−
２）。

【００６８】次に、図４のステップＳ３−３の各小領域
における直線の決定について説明を行う。前記ステップ
３−２で抽出された複数のエッジ群の中から、最も白線
らしいと思われるエッジ群に対して直線を当てはめるこ
とにより、自車線を示す左右２本の白線を検出する。そ
の際、まず、図９で示す如くに、複数のエッジ群に対し
てＨＯＵＧＨ変換等を用いて直線近似を行う。そして、
得られた複数の直線の中から、最も白線らしいと思われ
るものを２本選び出すわけであるが、その際に、本発明
では以下に示す２つの条件を用いることにする。尚、図
９はＨＯＵＧＨ変換による直線近似の一例を示した図で
ある。

【００６９】（１）逐次処理による白線の連結性 本発明では、画像上で路面が存在すると考えられる範囲
を５つの小領域に分割し、それぞれの領域ごとに自車線
を示す左右２本の直線の検出を行っている。この時、正
しく直線が検出されていると仮定すれば、図５に示した
如くに、隣接する２つの領域における左右の直線はそれ
ぞれ連結していると考えられる。

【００７０】本発明では、白線であると思われる直線を
決定する際に、このような小領域間の白線の連結性とい
う特徴を用いることにする。その際、一般的に、実空間
上で遠くに存在する白線ほど、画像平面上においては小
さく撮像される、という特徴も同時に考慮することにす
る。これは、即ち遠くにいけばいくほど、前記ステップ
Ｓ３−２で述べたような処理を行っているにも関わら
ず、エッジ抽出の段階で白線のエッジとともに白線以外
のエッジを抽出してしまっている可能性が高いというこ
とである。したがって、抽出されたエッジ群、さらには
そのエッジ群に対してＨＯＵＧＨ変換を行うことによっ
て近似された直線は、小領域１，…，５というように、
自車両から遠い領域ほど、白線としての信頼性は低いと
いうことが言える。

【００７１】そこで、本発明では、白線らしい直線を選
び出す際に、小領域１，…，５の順に逐次的に直線を決
定するようにする。例えば、小領域１，２における左右
の２直線が、図１０の実線で示される如くの直線である
と既に決定されている場合には、小領域間における左右
それぞれの直線の連結性から、小領域３では図１０の点
線で示す直線は除去し、太線で示される２本の直線を白
線らしいと判断するというものである。尚、図１０は逐
次処理による白線の連結性を示した図である。

【００７２】（２）仮想ＦＯＥの座標および角度θの時
間的連続性 本ステップでは、ＨＯＵＧＨ変換により近似された複数
の直線の中から、最も白線らしいと思われる左右２本の
直線を選び出すわけであるが、その際に、左右それぞれ
の直線を１本ずつ独立したものとして決定するよりも、
左右２本の直線を１つの組み合わせとして決定した方が
良い場合が多いと考えられる。そこで、２つ目の条件と
しては、以下のような特徴を用いる。

【００７３】上述のように、本発明で定義した仮想ＦＯ
Ｅの位置は時間間隔が微小な場合において大きく移動す
ることはないので、図１１に示す如くに、複数の直線の
中から全ての組み合わせに関して、左右の２直線を延長
した交点の座標（ｘ₁ ，ｙ₁），（ｘ₂，ｙ₂ ），
（ｘ₃ ，ｙ₃ ）を算出し、時間的に接近している前画像
における仮想ＦＯＥ３の座標（ｘ，ｙ）との差を算出す
る。

【００７４】また、同時に、図１１で示すように、複数
の直線の中から全ての組み合わせに関して、左右の２直
線のなす角度θ₁ ，θ₂ ，θ₃ を算出し、時間的に接近
している前画像において既に決定された左右２直線のな
す角度θとの差も算出する。

【００７５】以上で求めた、仮想ＦＯＥの座標の差およ
び２直線のなす角度の差の２つの値から、最も白線らし
い左右の２本の直線を１つの組み合わせとして決定する
というものである。図１１は仮想ＦＯＥの座標および角
度θの時間的連続性を示した図である。

【００７６】このように、本発明では、以上のような２
つの条件を用い、それぞれの小領域ごとに、自車線を示
す左右２本の直線を決定する（ステップＳ３−３）。そ
して、全ての小領域１，…，５において求まった左右２
直線で囲まれる範囲より、自車線領域の推定がなされる
（図３のステップＳ３）。

【００７７】ところで、この時、求まった２直線そのも
のを用いて自車線領域とすると、実空間上で前方車両は
高さを持っているため、前方車両の上部が自車線領域外
になってしまう。したがって、図１２で示す如くに、求
まった２直線よりもある幅Ｗだけ外側に広げた範囲を自
車線領域と設定する。図１２は道路上における自車線領
域を示した図である。以上のようにして自車線領域の推
定がなされる（完了する）。

【００７８】上述のようにステップＳ３−３において各
小領域１，…，５における左右２本の直線が決定したら
次にステップＳ３−４に進み、上述したようにを延長し
た交点をそれぞれ仮想ＦＯＥ１，…，５とする。

【００７９】尚、既に決定された仮想ＦＯＥが存在しな
いとき、すなわち、相前後する画像の最初の画像につい
ての処理の際には、既知の方法によってエッジ検出し、
この検出したエッジについて処理を行って白線を決定
し、この決定した白線に基づいて各小領域毎に仮想ＦＯ
Ｅを決定する処理が必要になる。ただし、１度このよう
に仮想ＦＯＥを決定した後は上述したように仮想ＦＯＥ
を用い、白線の候補となるエッジ検出を簡単にかつ正確
に行うことができるようになる。

【００８０】〔オプティカルフローの検出〕次に、図３
のステップＳ４におけるオプティカルフローの検出につ
いて、図１３を参照しながら説明を行う。尚、図１３は
本発明の周辺監視装置におけるオプティカルフローの検
出方法の一例を示したフローチャートである。

【００８１】図１３に示す如くに本発明の周辺監視装置
におけるオプティカルフローの検出方法は、対応点検索
を行う画素、即ちオプティカルフローの検出を行う画素
をできるだけ少なくするための処理である特徴点の抽出
を行うステップと、対応点検索を行う方向をできるだけ
少なくするための処理である対応点検索の方向の限定を
行うステップからなる。

【００８２】したがって、本発明では、まず対応点探索
を行う画素、すなわちオプティカルフローの検出を行う
画素をできるだけ少なくすることを考える。この時、対
応点探索を行う画素数をただ単に少なくするのではな
く、オプティカルフローを検出すべき周辺の他車両だけ
に関して対応点探索を行い、検出すべきでない自車線外
に存在する壁、あるいは路面上の影や文字、汚れに関し
ては、事前に可能な限り除去し、そのような画素につい
ては対応点探索を行わないことにする（図１３の特徴点
の抽出を行うステップＳ４−１）。

【００８３】さらに、対応点探索を行う際に、全方向に
関して探索するのではなく、検出すべき周囲の他車両が
移動すると思われる方向に関してだけ探索し、明らかに
移動しないと思われる不必要な方向に関しては探索を行
わないことにする（図１３の対応点検索方向の限定を行
うステップＳ４−２）。

【００８４】本発明では、オプティカルフローを検出す
る際に、以上の２つの処理（ステップ）を行うことによ
り、計算量が膨大であると同時に、誤対応が多いとい
う、相関法の問題点を解決することが可能となる。

【００８５】以下、本発明の周辺監視装置におけるオプ
ティカルフローの検出を行うにあたり、先ず、図１３の
ステップＳ４−１の特徴点の抽出について説明を行う。

【００８６】このステップＳ４−１では、画像上から、
オプティカルフローを検出すべきでない画素を可能な限
り除去し、検出すべき前方車両を構成する画素だけを抽
出する処理を行う（抽出する処理について詳しく述べ
る）。

【００８７】前記図３のステップＳ３にて推定された自
車線領域に基づいて、図１２に示すように、オプティカ
ルフローの検出を行う監視領域を設定することにより、
カーブ路を走行している際に、自車線外の壁や先行車両
を検出するという問題点は解消されることになる。

【００８８】また、本発明では、画像上の特徴的なテク
スチャを持つ画素の中で、影や文字、汚れなどの検出す
べきではない路面上の静止物体を除去した結果、残った
画素を特徴点と呼ぶことにし、この特徴点を抽出するこ
とにより、この後に行う対応点探索の際の計算量を減ら
している。

【００８９】処理の詳細について以下に述べる。ある時
刻ｔ＝Ｔの画像における特徴点抽出する際には、図１４
で示すような処理を行う。まず、前フレーム（ｔ＝Ｔ−
ΔＴ）の画像（ａ）を、図１５のような光学配置に基づ
いて、次式（８），（９）を用いて実空間における路面
に平行なｘｚ平面に逆射影変換することによって（ｂ）
のような路面画像を作成する。 ｘ＝ｈ×（−ｆ sinθ＋ｕ cosθ） ／（ｖ cosφ−ｆ sinφ cosθ−ｕ sinφ sinθ） ……（８） ｚ＝ｈ×（ｆ cosφ cosθ＋ｕ cosφ sinθ＋ｖ sinφ） ／（ｖ cosφ−ｆ sinφ cosθ−ｕ sinφ sinθ） ……（９）

【００９０】そして、速度検出装置２５にて検出記録さ
れた自車両の速度情報と、連続する２枚の画像の時間間
隔ΔＴとを用いて、フレーム間における自車両の移動距
離を算出し、その移動距離分だけ、（ｂ）の路面画像を
（ｃ）のように平行移動する。

【００９１】ここで、急なカーブ路を走行している場合
に、実空間において上から見た場合、すなわちｘｚ平面
の概念図を図１６に示す。自車両が図１６（ａ），
（ｂ），（ｃ）のような、それぞれの位置に存在する時
に、撮像される路面部分は、図の正方形で囲まれる範囲
であるとする。そして、ある時刻ｔ＝Ｔ−ΔＴにおい
て、図１６（ａ）のような路面が撮像されているとす
る。これに対して、図１４（ｃ）で示したように、自車
両の移動距離分だけ平行移動することによって、図１６
（ｂ）で示されるような路面部分が撮像されている状態
を推定したことになる。しかし、実際にカーブ路を走行
している場合を考えると、運転者は常に車両を直進させ
ているわけではなく、走行しているカーブ路の曲率に合
わせて小刻みにハンドル操作をしている。したがって、
時刻ｔ＝Ｔにおいて、実際に撮像される路面部分は図１
６（ｃ）のようになると考えられる。

【００９２】したがって、本発明では、図１４（ｄ）で
示すように、平行移動した後の路面画像における自車両
近傍白線のｚ軸に対してなす角度θ_L 、θ_R を算出す
る。そして、それらの平均値θ′を求め、ｘｚ座標の原
点を中心として画像を回転させることにより、図１４
（ｅ）のような画像を作成する。

【００９３】その後に、この画像に対して射影変換を行
うことにより、図１４（ｆ）で示すような推定画像が得
られる。この推定画像は、時刻ｔ＝Ｔ−ΔＴにおける原
画像を逆射影変換した後に、自車両の移動距離分だけ平
行移動しているために、路面と同じ高さに存在し、かつ
静止している物体だけが正しく推定されていることにな
る。したがって、路面の影や文字、汚れなど、オプティ
カルフローを検出すべきでない物体は正しく推定され、
オプティカルフローを検出すべき周囲の他車両は高さを
持っているため、誤って推定されていることになる。さ
らに、回転処理を行っているため、本発明が対象として
いるような急なカーブ路を走行している場合にも、推定
は正しく行われる。

【００９４】したがって、図１４（ｇ）のように、時刻
ｔ＝Ｔにおける原画像と、時刻ｔ＝Ｔ−ΔＴの原画像か
ら次フレーム（ｔ＝Ｔ）を推定した推定画像との差分を
とると、図１４（ｈ）のように、オプティカルフローを
検出すべきでない、路面上の影や文字、汚れなどは全て
消去され、オプティカルフローを検出すべき周囲の他車
両だけが残ることになる。そして、図１４（ｉ）のよう
に、この差分画像のエッジを抽出したものを特徴点画像
とする（ステップＳ４−１）。

【００９５】そして、以上のような処理によって抽出さ
れた特徴点に関してだけ、対応点探索を行うことにす
る。これにより、自車線を走行している周囲の他車両な
どの、検出すべき物体に関してだけ対応点探索を行うこ
とが可能となり、全画素に関して対応点探索を行う一般
的な発明と比較して、大幅に計算量が減少されると同時
に、誤対応を少なくすることができる。

【００９６】次に、図１３のステップＳ４−２の対応点
探索方向の限定について説明を行う。前記ステップＳ４
−１にて、特徴点を抽出することにより、対応点探索を
行う画素数は大幅に減少し、処理時間および検出精度と
いう問題点は、ある程度解消される。しかし、それでも
対応点を全方向にわたって探索すると、計算量が増加す
ると同時に、誤対応が多くなる。

【００９７】したがって、検出すべき前方車両が移動す
ると思われる方向に関してだけ対応点の探索を行い、明
らかに移動しないと思われる不必要な方向に関しては探
索を行わないことにする。

【００９８】直線道路を走行している場合、図１７で示
すように、実空間上において、カメラに対して相対的に
接近してくる物体に関しては、画像平面上においてはＦ
ＯＥから放射状に広がる方向にオプティカルフローが発
生し、カメラに対して相対的に遠ざかる物体に関して
は、ＦＯＥに向かって収束する方向にオプティカルフロ
ーが発生する。したがって、対応点探索をＦＯＥを中心
とした放射状の方向に限定することが可能である。図１
７は直線走行時のオプティカルフローの発生方向を示し
た図である。

【００９９】しかし、本発明が対象とするような急なカ
ーブ路を走行している場合には、厳密な意味でのＦＯＥ
は存在しない。ここで、カーブ路を走行している場合を
想定する。例えば、非常に遠くに存在する前方車両が接
近してくる時に、発生するオプティカルフローの方向
は、図１８（ａ）で示すような方向になる。また、比較
的遠くに存在する前方車両が接近してくる時に、発生す
るオプティカルフローの方向は、図１８（ｂ）で示すよ
うな方向になる。そして、非常に近い位置に存在する前
方車両が接近してくる時に、発生するオプティカルフロ
ーの方向は、図１８（ｃ）で示すような方向になる。す
なわち、カーブ路を走行している場合には、直線を走行
している場合のようなＦＯＥは存在せず、オプティカル
フローは画像上のある１点から発生するわけではないと
いうことがわかる。

【０１００】したがって、本発明では、図４のステップ
Ｓ３−４で定義（推定）した仮想ＦＯＥを用いることに
する。仮想ＦＯＥ１，…，５の位置は、図７で示される
ように、各小領域１，…，５における左右２本の直線を
延長した交点である。尚、図１８はカーブ走行時のオプ
ティカルフローの発生方向を示した図である。

【０１０１】一般に、実空間上において、運転者は自車
線を示す左右２本の直線に対して、自車両が常に平行で
ある状態を保つようにハンドル操作を行っている。した
がって、画像平面上では、各小領域内に存在する物体
は、その領域における左右２本の直線の交点、すなわち
各仮想ＦＯＥを中心とした放射状の方向に移動すると考
えられる。そこで、本発明では、各小領域１，…，５に
存在する特徴点に関しては、対応点の探索を、それぞれ
各仮想ＦＯＥ１，…，５を中心とした、放射状の方向に
限定することにする。すなわち、図１９で示すように、
小領域４に特徴点が存在する場合には、仮想ＦＯＥ４を
中心とした、放射状の方向に関してだけ対応点探索を行
う（ステップＳ４−２）。図１９は対応点検索方向を示
した図である。

【０１０２】このような処理を行うことにより、カーブ
路を走行している場合にも、高速かつ精度良くオプティ
カルフローを検出することが可能になると考えられる。
以上のようにしてオプティカルフローの検出がなされる
（完了する）。尚、実際のオプティカルフロー成分の検
出は、従来と同様の方法にて、即ち、従来の車両用周辺
監視装置の説明における式（７）等を用いることにより
求める。

【０１０３】〔危険度の評価〕次に、図３のステップＳ
５における危険度の評価について説明を行う。以上の各
処理（ステップ）によって検出されたオプティカルフロ
ーから、運転者に警告を与えるための危険度の評価を行
う必要がある。高速道路を走行している際に、一般的に
危険であるかないかという評価の基準は、 （１）自車両と前方車両との車間距離が短ければ短いほ
ど危険 （２）自車両と前方車両との相対速度が大きければ大き
いほど危険 である、というものである。

【０１０４】ここで、オプティカルフローの大きさは、
もともと実空間上において対象物体がカメラに近ければ
近いほど大きく、相対速度が大きければ大きいほど大き
くなるという性質を持っている。したがって、個々のオ
プティカルフローの大きさをｌ_i 、オプティカルフロー
の発生数をＮとした場合、前方視界における危険度Ｄ
を、 のように、監視領域内のオプティカルフローを単純に足
し込むことによって上述の評価基準を満たす危険度の評
価値を算出することができる。

【０１０５】しかし、この方法を用いた場合、オプティ
カルフローの大きさを全て足し込んでいるために、発生
するオプティカルフローの数Ｎに大きく依存している。
ここで、このＮは前方を走行している車両の種類や色、
大きさによってかなり変化してしまう。また、夜間に走
行している場合やトンネルを走行している場合などは、
昼間と比較してオプティカルフローの発生数Ｎはかなり
少なくなってしまう。したがって、本発明では、危険度
Ｄをオプティカルフローの大きさの総和Ｌではなく、 で示されるオプティカルフローの大きさの平均値ｌを危
険度の評価に用いることにする。

【０１０６】しかし、ここでオプティカルフローの検出
を用いたことによるもう一つの問題点が考えられる。こ
れは、オプティカルフローの大きさの総和Ｌ、平均値ｌ
のどちらを用いた場合にも、共通した問題である。即
ち、前記時間的に連続する２枚の画像間で、前方車両が
全く移動しない場合、つまり、自車両と前方車両との相
対速度がゼロの場合には、オプティカルフローの大きさ
はゼロとなってしまうため、総和Ｌ、平均値ｌはどちら
もゼロになってしまう。

【０１０７】これは、例えば、前記ステップＳ４−１に
より求まった各特徴点について、ステップＳ４−２にて
対応点検索を行いオプティカルフローを求めた結果、オ
プティカルフローの大きさゼロの位置で最も相関の高い
特徴点が見つかった場合、即ち特徴点が移動せず同じ位
置に存在し、よって大きさゼロのオプティカルフローを
抽出した場合であって、自車両の近くを相対速度ゼロ
（自車両と等速度）にて走行している他車両の特徴点か
らは大きさゼロのオプティカルフローが抽出されるため
である。

【０１０８】ところが、自車両と前方車両（他車両）と
の相対速度がゼロであっても、自車両と前方車両との車
間距離が非常に近い場合には、常識的には危険な状態で
あると判断される。

【０１０９】したがって、このような状況にも危険であ
ると評価できるように、本発明では以下に示す値（危険
度の評価値）をも同時に用いることにする。ここで、車
間距離が大きい場合には、上述のオプティカルフローの
大きさの平均値により危険であるかないかを判断するこ
とが可能であので、この場合には、相対速度がゼロであ
って、且つ危険であるほど車間距離が非常に近い場合だ
けに関して危険であるかどうか否かを判断すれば良い。

【０１１０】そこで、本発明における前記もう一つの危
険度の評価値として、オプティカルフローの発生数を用
いることにする。上述したように、オプティカルフロー
の発生数は、前方車両の種類や色、大きさ、さらには昼
夜やトンネルなど走行している時刻や環境などによって
も変化してしまうという問題がある。

【０１１１】しかし、これは通常の状況下では問題とな
るが、ここで重要なのは相対速度がゼロであって、且つ
危険であるほどに車間距離が非常に近い場合についてで
ある。それほど、前方車両との車間距離が小さい場合に
は、車種や色、大きさに依らずオプティカルフローの発
生数は多くなると考えられる。また、夜間に走行してい
る場合やトンネルを走行している時も、前方車両が遠く
にいる場合は、非常に暗いためにオプティカルフローの
発生数は少なくなるが、前方車両が非常に近くにいる場
合には、自車両のヘッドライトによって前方車両の後部
が照らされるためオプティカルフローの発生数は多く
（危険度が高く）なる。

【０１１２】したがって、本発明では、通常の状況にお
いてはオプティカルフローの大きさの平均値ｌを用い、
その欠点を補う意味で、前方車両との車間距離が非常に
近い場合に関しては、大きさゼロのものを含むオプティ
カルフローの発生数Ｎを用いることにする。２つの値
ｌ，Ｎのどちらかでも、それぞれの予め設定したしきい
値以上になった場合に危険であると判断することにする
（ステップＳ５）。

【０１１３】尚、Ｎに基づく危険度の判断は、最も自車
両に近い前記小領域より得られるオプティカルフローの
発生数のみに基づいて行うようにしても良い。

【０１１４】〔運転者への警告〕最後に、図３のステッ
プＳ６における運転者への警告について説明を行う。運
転者に対する警告は、前記ステップＳ５の処理による危
険度の評価内容に基づいて行われる。本発明の周辺監視
装置の演算処理装置２３は、前記ステップＳ５によって
求められた危険度の大きさに従って、警報装置２４を制
御し、警報を鳴らすこと等によって運転者に対し注意を
促すことができる。これにより、人間の有する有限な認
識力を補完し、上述の大事故に発展しかねない危険な状
態や、実際の大事故の発生を未然に防止することができ
る。

【０１１５】尚、以上の説明において、自車両前方の監
視領域を自車両走行領域（車線）として説明したが、
（走行）車線が複数存在する場合等には、自車線とそれ
以外の領域、または前記監視領域を自車両走行領域（車
線）以外の領域（車線）に広げることにより、前方，後
方及び後側方における各領域（車線）を走行する他車両
の監視を行うことが可能である。

【０１１６】また、本実施の形態では車両前方の監視に
ついて説明を行ったが、後方及び後側方を監視する場合
においても適用可能であることは言うまでもない。これ
により、例えば、高速道路などの片側２車線以上のカー
ブ路を走行中の自動車等の車両の運転者が、異なった車
線への移動（車線の変更）を行おうとした場合、その車
両（自車両）が変更しようとする隣接車線に、自車両よ
りも速いスピードにて走行中の別の車両（周囲の他車
両）が後側方から追い上げてきた場合などに、前記別の
車両の存在を見落としたまま、前記運転者が車線の変更
を行うことで発生しうる大事故を未然に防止することが
できる。

【０１１７】さらに、前記図３のステップＳ５の処理に
おける危険度の評価は、特定の前記各小領域について行
うようにしても良い。また、前記各小領域毎の危険度
を、各小領域毎に、図示しない警告（通知）手段に供給
することで運転者に知らせるようにしても良い。また、
当然の如く、前記図３における各ステップの処理は、演
算処理装置２３によって行われるものである。

【０１１８】

【発明の効果】以上説明したように、上記請求項１記載
の発明によれば、画像を、撮像手段の所定の光学配置に
基づいて、実空間における路面に平行なｘｚ平面に逆射
影変換して路面画像を得、一定時間と自車両の速度情報
とから相前後する２つの画像における自車両の移動距離
を算出し、算出した移動距離分だけ路面画像を平行移動
し、平行移動後の路面画像を射影変換して当該画像より
時間的に遅い方の画像の推定画像を得、時間的に遅い方
の画像と推定画像との差分をとって特徴点の抽出を行
い、抽出した特徴点に関して対応点の探索を行ってオプ
ティカルフローの検出を行うようにしているので、オプ
ティカルフローを検出すべきでない路面上の影や文字、
汚れなどが全て消去され、オプティカルフローを検出す
べき対象物だけが残して対応点探索を行うことができ、
オプティカルフローを検出する際の計算量を大幅に減少
すると同時に、誤対応も少なくなって、より高速にかつ
正確にオプティカルフローを検出できる周辺監視装置が
得られる。

【０１１９】請求項２記載の発明によれば、平行移動後
の路面画像における自車両近傍の白線の角度をそれぞれ
算出し、それらの平均角度を求め、ｘｚ座標の原点を中
心として路面画像を平均角度だけ回転させ、回転した路
面画像を射影変換して当該画像より時間的に遅い方の画
像の推定画像を得るようにしているので、カーブ路を考
慮した推定画面をを得ることができので、オプティカル
フローを検出すべきでない路面上の影や文字、汚れなど
が全て消去され、自車両がカーブ路を走行している場合
であっても、オプティカルフローを検出すべき対象物だ
けが残して対応点探索を行うことができる周辺監視装置
が得られる。

【０１２０】請求項３記載の発明によれば、前方または
後側方視界における危険度を示すオプティカルフローの
大きさの平均値が予め設定した値以上になった場合に危
険であると判断するようにしているので、周囲の他車両
の種類や色、大きさ、さらには昼夜やトンネルなど走行
している時刻や環境などによってオプティカルフローの
数が大きく変化することに伴う、危険度の検出誤差を大
幅に低減することができる周辺監視装置が得られる。

【０１２１】請求項４記載の発明によれば、オプティカ
ルフローの発生数Ｎが予め設定した値以上になった場合
に危険度評価手段が危険であると判断するようにしてい
るので、自車両と周囲の他車両との相対速度がゼロで、
オプティカルフローの大きさがゼロであっても、自車両
と前方車両との車間距離が非常に近い場合には危険度が
高くなり、周囲の他車両との車間距離が小さい場合に
は、車種や色、大きさに依らずオプティカルフローの発
生数が多くなることを利用して危険であると判断するこ
とができ、運転者の安全を確保することができる周辺監
視装置が得られる。

【０１２２】請求項５記載の発明によれば、画像を、撮
像手段の所定の光学配置に基づいて、実空間における路
面に平行なｘｚ平面に逆射影変換して路面画像を得、一
定時間と自車両の速度情報とから相前後する２つの画像
における自車両の移動距離を算出し、算出した移動距離
分だけ路面画像を平行移動し、平行移動後の路面画像を
射影変換して当該画像より時間的に遅い方の画像の推定
画像を得、時間的に遅い方の画像と推定画像との差分を
とって特徴点の抽出を行い、抽出した特徴点に関して対
応点の探索を行ってオプティカルフローの検出を行うよ
うにしているので、オプティカルフローを検出すべきで
ない路面上の影や文字、汚れなどが全て消去され、オプ
ティカルフローを検出すべき対象物だけが残して対応点
探索を行うことができ、オプティカルフローを検出する
際の計算量を大幅に減少すると同時に、誤対応も少なく
なって、より高速にかつ正確にオプティカルフローを検
出できる周辺監視方法が得られる。

【０１２３】請求項６記載の発明によれば、平行移動後
の路面画像における自車両近傍の白線の角度をそれぞれ
算出し、それらの平均角度を求め、ｘｚ座標の原点を中
心として路面画像を平均角度だけ回転させ、回転した路
面画像を射影変換して当該画像より時間的に遅い方の画
像の推定画像を得るようにしているので、カーブ路を考
慮した推定画面をを得ることができ、オプティカルフロ
ーを検出すべきでない路面上の影や文字、汚れなどが全
て消去され、自車両がカーブ路を走行している場合であ
っても、オプティカルフローを検出すべき対象物だけが
残して対応点探索を行うことができる周辺監視方法が得
られる。

【図面の簡単な説明】

【図１】本発明の周辺監視装置の基本構成図である。

【図２】本発明の周辺監視装置の構成を示したブロック
図である。

【図３】本発明の周辺監視装置における動作の概要を示
したフローチャートである。

【図４】本発明の周辺監視装置における自車線領域の推
定方法の一例を示したフローチャートである。

【図５】原画像を５つの小領域に分割したところを示し
た図である。

【図６】直線道路走行時におけるＦＯＥを示した図であ
る。

【図７】各小領域毎の仮想ＦＯＥを示した図である。

【図８】エッジ抽出の方法を示した図である。

【図９】ＨＯＵＧＨ変換による直線近似の一例を示した
図である。

【図１０】逐次処理による白線の連結性を示した図であ
る。

【図１１】仮想ＦＯＥの座標および角度θの時間的連続
性を示した図である。

【図１２】道路上における自車線領域を示した図であ
る。

【図１３】本発明の周辺監視装置におけるオプティカル
フローの検出方法の一例を示したフローチャートであ
る。

【図１４】特徴点抽出の方法を説明するための図であ
る。

【図１５】光学配置を示す図である。

【図１６】カーブ走行時における状態を示した概念図で
ある。

【図１７】直線走行時のオプティカルフローの発生方向
を示した図である。

【図１８】カーブ走行時のオプティカルフローの発生方
向を示した図である。

【図１９】対応点検索方向を示した図である。

【図２０】ビデオカメラ１によって得られる後側景画像
の変化を説明するための図である。

【図２１】障害物等の検出の方法を説明するための図で
ある。

【図２２】直線路におけるＦＯＥの位置を示した図であ
る。

【符号の説明】

２１ 撮像手段（ビデオカメラ） ２３−１ 監視領域設定手段（演算処理装
置） ２３−２ オプティカルフロー検出手段（演
算処理装置） ２３−３ 危険度評価手段（演算処理装置）

フロントページの続き (56)参考文献 特開 平４−163249（ＪＰ，Ａ) 特開 平６−282655（ＪＰ，Ａ) 特開 平７−262375（ＪＰ，Ａ) 特開 平８−94320（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/20 B60R 21/00 G08G 1/16 G01B 11/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 自車両から前方、後方又は後側方を撮像
   手段により撮像して一定時間毎に画像を得、該画像に基
   づいて自車両の走行している自車線の白線を検出すると
   共に、該検出した白線に基づいて監視領域設定手段によ
   り自車線領域又は隣接車線領域に監視領域を設定し、該
   設定した監視領域内にある周辺の他車両から発生するオ
   プティカルフローをオプティカルフロー検出手段により
   検出し、該検出したオプティカルフローを用いて自車両
   と周辺の他車両との相対関係を監視する周辺監視装置に
   おいて、 前記オプティカルフロー検出手段が、前記画像を、前記
   撮像手段の所定の光学配置に基づいて、実空間における
   路面に平行なｘｚ平面に逆射影変換して路面画像を得、
   前記一定時間と自車両の速度情報とから相前後する２つ
   の前記画像における自車両の移動距離を算出し、該算出
   した移動距離分だけ前記路面画像を平行移動し、該平行
   移動した後の前記路面画像を射影変換して当該画像より
   時間的に遅い方の画像の推定画像を得、前記時間的に遅
   い方の画像と前記推定画像との差分をとって特徴点の抽
   出を行い、該抽出した特徴点に関して対応点の探索を行
   って前記オプティカルフローの検出を行うことを特徴と
   する周辺監視装置。
2. 【請求項２】 前記路面画像を射影変換する前に、前記
   路面画像における自車両近傍の白線の角度をそれぞれ算
   出し、それらの平均角度を求め、前記ｘｚ座標の原点を
   中心として前記路面画像を前記平均角度だけ回転させ、
   該回転した路面画像を射影変換することを特徴とする請
   求項１記載の周辺監視装置。
3. 【請求項３】 前記オプティカルフローの大きさを
   ｌ_i 、オプティカルフローの発生数をＮとした場合、前
   方または後側方視界における危険度Ｄを、 で示されるオプティカルフローの大きさの平均値ｌが予
   め設定した値以上になった場合に危険であると判断する
   危険度評価手段をさらに備えることを特徴とする請求項
   １又は２記載の周辺監視装置。
4. 【請求項４】 前記危険度評価手段はさらに、前記オプ
   ティカルフローの発生数Ｎが予め設定した値以上になっ
   た場合に危険であると判断することを特徴とする請求項
   ３記載の周辺監視装置。
5. 【請求項５】 自車両から前方または後側方を撮像手段
   により撮像して一定時間毎に画像を得、該画像に基づい
   て自車両の走行している自車線の白線を検出すると共
   に、該検出した白線に基づいて自車線領域やそれ以外の
   領域に監視領域を設定し、該設定した監視領域内にある
   周辺の他車両から発生するオプティカルフローを検出
   し、該検出したオプティカルフローを用いて自車両と周
   辺の他車両との相対関係を監視する周辺監視方法におい
   て、 前記画像を、前記撮像手段の所定の光学配置に基づい
   て、実空間における路面に平行なｘｚ平面に逆射影変換
   して路面画像を得、 前記一定時間と自車両の速度情報とから相前後する２つ
   の前記画像における自車両の移動距離を算出し、 該算出した移動距離分だけ前記路面画像を平行移動し、 該平行移動した路面画像を射影変換して当該画像より時
   間的に遅い方の画像の推定画像を得、 前記時間的に遅い方の画像と前記推定画像との差分をと
   って特徴点の抽出を行い、 該抽出した特徴点に関して対応点の探索を行って前記オ
   プティカルフローの検出を行うことを特徴とする周辺監
   視方法。
6. 【請求項６】 前記路面画像を射影変換する前に、前記
   平行移動した後の前記路面画像における自車両近傍の白
   線の角度をそれぞれ算出し、それらの平均角度を求め、 前記ｘｚ座標の原点を中心として前記路面画像を前記平
   均角度だけ回転させ、該回転した路面画像を射影変換す
   ることを特徴とする請求項５記載の周辺監視方法。