JP3395634B2 - Optical flow type backward information detection device - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、カメラ等で撮像さ
れた画像上の移動ベクトル（オプティカルフロー）を用
いて後方（特に、後側方）から接近する車両を検出す
る、オプティカルフロー式後方情報検出装置に関する。 【０００２】 【従来の技術】従来より、カメラ等で撮像された時刻の
異なる２画像中の同一点の移動ベクトルを算出し、算出
した移動ベクトルから接近する移動物体の存在を検出す
る技術が知られており、特に、自動車の分野において、
カメラ等で自車両の後方を撮像して、後側方（例えば、
隣レーンの後方）から接近してくる他車両の存在を検出
するオプティカルフロー式後方情報検出装置が知られて
いる。 【０００３】このオプティカルフロー式後方情報検出装
置は、近年、開発が進められている自動走行制御装置、
即ち、走行中の道路に対する車両の位置姿勢や他車両と
の相対的関係の把握を行ない、これに基づいて自動車の
自動走行制御を行なう装置の要素技術としても有望であ
り、各種のオプティカルフロー式後方情報検出装置が提
案されている。 【０００４】例えば、特開平８−８３３４５号公報に開
示された技術（第１従来技術）は、画像中に大きな占有
面積の移動物体が存在する場合でも、確実に移動物体に
起因するオプティカルフローを抽出し、さらに、抽出し
たオプティカルフローによりその移動物体が接近してい
るものか否かを判定する方法に関する技術である。ま
た、特開平９−１８８６３号公報に開示された技術（第
２従来技術）は、複数のカメラ又は旋回可能なカメラを
そなえることにより、車両後方の監視領域を広げて安全
性を高めようとするものである。 【０００５】 【発明が解決しようとする課題】上述のように、従来よ
りオプティカルフロー式後方情報検出装置について種々
の研究開発が行なわれているが、その多くはオプティカ
ルフローにより物体の移動を把握することを主目的とし
ており、オプティカルフロー自身が如何なる情報を有し
ており、それをどう活用するかについての検討は進んで
いないのが現状である。例えば、上述の第１従来技術で
は、移動物体が接近していると判定された時には、警報
信号を出力するようになっているが、ここでは、オプテ
ィカルフローは単に移動物体が接近しているか否かの判
定基準として利用されているにすぎず、単に移動物体が
接近しているからといって、必ずしも警報を出すべきも
のとは限らない。 【０００６】ところで、隣レーンに車線変更をしようと
する時は、ドライバは、隣レーンの後方から走行してく
る後続車両を確認し、危険かどうか判断してから車線変
更を行なっている。このとき、ドライバは、後続車両と
自車両との車間距離や相対速度を、距離計や速度計で計
測して危険かどうか判断している分けではない。バック
ミラー等を介してドライバ自身の目に映った後続車両の
大きさや動きから、車線変更の危険度を判断しているの
である。 【０００７】このドライバの目に映る後続車両の大きさ
や動きは、オプティカルフローにも反映され、後続車両
が接近してくると、その後続車両に対応したオプティカ
ルフローの発生数も増加し、また、オプティカルフロー
の大きさ（ベクトルの長さ）も大きくなる。したがっ
て、この点に着目すれば、オプティカルフローの変化を
通して、後方から接近する後続車両に対する危険度を判
定することは可能であると考えられる。 【０００８】第２従来技術では、後続車両に対応する発
散方向のオプティカルフローに対して、その大きさに重
み付けをし、重み付けをした値が或るしきい値を越えた
ら危険と判断するようになっている。ところが、この第
２従来技術では、オプティカルフローと危険度とがどの
ように対応しているのか明確でなく、また、如何なる重
み付けをするのかも記載がない。つまり、オプティカル
フローの大きさに重み付けをした値を危険度判定と結び
付ける具体的妥当性に欠けており、また、オプティカル
フローの性質、即ち、撮像角度等の微妙な変化により消
失，発生し、連続的には変化しない点についての考慮は
されていない。 【０００９】さらに、後側方から接近してくる後続車両
は常に１台とは限らず、複数の後続車両が接近してくる
場合がある。この場合、ドライバ自身の視覚に基づく
と、最も自車両に接近している車両や、又は、急接近し
てくる車両等の特定の車両を基準に危険度を判断する。
一方、撮像画像から抽出されるオプティカルフローにも
複数台分のオプティカルフローが含まれており、その中
のどのオプティカルフローを基準に選定するかにより、
危険度の判定精度が変化する。したがって、このような
場合のオプティカルフローの選定も、ドライバ自身が判
断する際の選定基準と合致したものとしたい。 【００１０】本発明は、上述の課題に鑑み創案されたも
ので、オプティカルフローの有する危険度に関する情報
としての有用性に着目し、複数台の接近車両が存在する
場合でも常に安定した危険度判定を行なえるようにし
た、オプティカルフロー式後方情報検出装置を提供する
ことを目的とする。 【００１１】 【課題を解決するための手段】このため、本発明のオプ
ティカルフロー式後方情報検出装置では、撮像手段によ
り所定周期で撮像された自車両後方の複数画像からオプ
ティカルフロー算出手段によりオプティカルフローを算
出して、自車両に接近する物体を検出するが、まず、グ
ループ化処理手段によりオプティカルフローの大きさの
分布に基づいてオプティカルフローをオプティカルフロ
ー群にグループ化し、グループ化された複数のオプティ
カルフロー群の中から判定対象選定手段により危険度判
定対象とするオプティカルフロー群を選定する。そし
て、判定対象選定手段で選定された判定対象オプティカ
ルフロー群に属するオプティカルフローの大きさの平均
値を演算手段で演算し、得られたオプティカルフローの
大きさの平均値に基づき、危険度判定手段により判定対
象オプティカルフロー群に該当する物体の接近の危険度
を判定する。 【００１２】これにより、オプティカルフローの有する
危険度に関する情報が有効活用されるとともに、常に安
定した危険度判定が行なわれる。 【００１３】 【発明の実施の形態】以下、図面により、本発明の実施
の形態について説明すると、図１〜図８は本明の一実施
形態としてのオプティカルフロー式後方情報検出装置
（以下、単に後方情報検出装置という）を示すものであ
る。本後方情報検出装置は、図１に示すように、車両１
の所定の位置（例えばリヤウインドウの上部又は下部）
に自車両後方の道路状況を撮像する撮像手段としてのＣ
ＣＤカメラ２をそなえており、ＣＣＤカメラ２で得られ
た画像情報（アナログ画像信号）は、車両１内部にそな
えられたＥＣＵ１０へ入力されるようになっている。 【００１４】ＥＣＵ１０は、Ａ／Ｄ変換器３，第１フレ
ームメモリ４Ａ，第２フレームメモリ４Ｂ，オプティカ
ルフロー算出手段（ＤＳＰ）５，演算手段６，危険度判
定手段７から構成されており、ＣＣＤカメラ２から入力
されたアナログ画像信号は、まず、Ａ／Ｄ変換器３によ
ってデジタル画像信号へ変換処理されるようになってい
る。 【００１５】そして、Ａ／Ｄ変換器３で処理されたデジ
タル画像信号は、第１フレームメモリ４Ａ，第２フレー
ムメモリ４Ｂに交互に周期的に格納されるようになって
いる。このデジタル画像信号の格納周期は、後述のオプ
ティカルフロー（以下、単にフローとも略す）の算出等
の画像処理能力で決まるが、ここでは、例えば、１０フ
レーム（１フレーム１／３０秒）毎に５フレームの位相
差で各フレームメモリ４Ａ，４Ｂにデジタル画像信号が
入力されるようになっているものとする。 【００１６】オプティカルフロー算出手段５は、各フレ
ームメモリ４Ａ，４Ｂに格納された撮像時間の異なるデ
ジタル画像信号に基づきオプティカルフローを算出する
ようになっている。このオプティカルフロー算出手段５
におけるオプティカルフローの算出処理について説明す
ると、次のようになる。まず、第１フレームメモリ４Ａ
に格納された時間ｔにおける撮像画像（第１フレーム）
から着目画像（画素）を抽出し、続いて、第２フレーム
メモリ４Ｂに格納された時間ｔ＋Δｔ〔Δｔ＝５／３０
秒（５フレーム分）〕における撮像画像（第２フレー
ム）の着目画像（画素）を抽出する。この着目画素の設
定は、一定の閾値以上の画素を選定するようにしてもよ
く、また、撮像画像上において周囲画素の輝度の平均よ
りも特に高輝度の画素を選定するようにしてもよい。 【００１７】ここで、図２（ａ），（ｂ）に示すよう
に、異なる時間において、後方から隣車線（以下、隣レ
ーンという）上を接近してくる後続車両１０１，１０２
を撮像したとする。図２（ａ）に示す画像１００Ａを時
間ｔにおける撮像画像とし、図２（ｂ）に示す画像１０
０Ｂを時間ｔ＋Δｔにおける撮像画像とすると、それぞ
れの画像１００Ａ，１００Ｂから例えば着目画素Ｐ_A1，
Ｐ_A2，Ｐ_A3，Ｐ_A4，Ｐ_B1，Ｐ_B2，Ｐ_B3，Ｐ_B4を抽出す
る。なお、ここでは、説明の便宜上、各画像１００Ａ，
１００Ｂにおける各車両１０１，１０２に対応する着目
画素は各２つとしているが、実際はさらに多くの着目画
素を抽出することになる。 【００１８】そして、それぞれの着目画素Ｐ_A1，Ｐ_A2，
Ｐ_A3，Ｐ_A4，Ｐ_B1，Ｐ_B2，Ｐ_B3，Ｐ _B4にウインドウ
Ｓ_A1，Ｓ_A2，Ｓ_A3，Ｓ_A4，Ｓ_B1，Ｓ_B2，Ｓ_B3，Ｓ_B4を設
定し、２画面１００Ａ，１００Ｂ間のウインドウＳ_A1〜
Ｓ_A4，Ｓ_B1〜Ｓ_B4の同一性を検証して、２画面１００
Ａ，１００Ｂ間の対応する着目画素を求めるようになっ
ているのである。このウインドウの同一性の検証方法と
しては、公知の方法を用いることができ、例えば、特開
平８−８３３４５号公報に記載されているように、相関
法や勾配法により検証することができる。 【００１９】そして、２画面１００Ａ，１００Ｂ間の対
応する着目画素が求められると、これらの着目画素を結
んだベクトルがオプティカルフローとなるのである。こ
こでは、ウインドウはＳ_A1とＳ_B1と、Ｓ_A2とＳ_B2と、Ｓ
_A3とＳ_B3と、Ｓ_A4とＳ_B4とが同一であるので、着目画素
はＰ_A1とＰ_B1と、Ｐ_A2とＰ_B2と、Ｐ_A3とＰ_B3と、Ｐ_A4と
Ｐ_B4とが対応しており、それぞれを結ぶことによりオプ
ティカルフローｆ₁ ，ｆ₂ ，ｆ₃ ，ｆ₄ が求められる。 【００２０】このようにして、他の対応する着目画素に
ついても対応を検証していくことにより、図２（ｃ）に
示すように、後方を走行する後続車両１０１，１０２に
対応した複数のオプティカルフローが得られるのであ
る。なお、後続車両１０１，１０２以外にも、道路標識
１０３等の周囲風景に対応したオプティカルフローも得
られるが、これらは自車両から相対的に遠ざかるように
（いわゆる無限遠点方向に収束するように）移動してい
るので、後続車両１０１，１０２に対応するオプティカ
ルフローとは、ベクトルの向きが逆となる。そこで、オ
プティカルフロー算出手段５では、ベクトルの向きに閾
値を設け、自車両に接近する方向のオプティカルフロー
のみ算出するようになっている。 【００２１】ところで、ここで得られたオプティカルフ
ローは、実際の車両と後続車両との位置関係に対してど
のように対応しているのか説明すると、図３に示すよう
な幾何学的関係で表すことができる。図３は、水平面内
での幾何学的関係を表したものであるが、隣車線までの
距離をＷ、自車両から後続車両までの距離をＺとし、Ｃ
ＣＤカメラ２の画面上での横方向距離をＸ、ＣＣＤカメ
ラ２の焦点距離をＤとしている。ここで、Ｎフレーム間
（Ｎ／３０秒間）での後続車両の相対移動距離をｄｚ、
ＣＣＤカメラ２の画面上での横方向移動距離をｄｘとす
ると、画面上横方向移動距離ｄｘは、次のように表され
る。 ｄｘ＝Ｗ×Ｄ×（１／（Ｚ−ｄｚ）−１／Ｚ） ・・・・・・・・（１） また、自車両に対する後続車両の相対速度をＶs とする
と、Ｎフレーム間での後続車両の相対移動距離ｄｚは
（Ｖs ／３０）×Ｎとなるので、画面上水平方向移動距
離ｄｘは、次のように表すことができる。 ｄｘ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ）・・・・・（２） この画面上水平方向移動距離ｄｘを画素単位であらわし
た、フレームメモリ上の水平移動距離ｄＰx(pixel)は、
ＣＣＤカメラ２の水平有効サイズをＬ１、水平画素数を
ｎ１とすると、次式のように表すことができる。 ｄＰx(pixel)＝ｄｘ×（ｎ１／Ｌ１） ＝Ｗ×Ｄ×（３０／（３０×Ｚ−Ｖs ×Ｎ）−１／Ｚ） ×（ｎ１／Ｌ１） ・・・・・・・・（３） 同様に、フレームメモリ上の垂直移動距離ｄＰy(pixel)
は、ＣＣＤカメラ２の設置高さをＨ、ＣＣＤカメラ２の
垂直有効サイズをＬ２、垂直画素数をｎ２とすると、次
式のように表すことができる。 ｄＰy(pixel)＝Ｈ×Ｄ×（３０／（３０×Ｚ−Ｖs ／Ｎ）−１／Ｚ） ×（ｎ２／Ｌ２） ・・・・・・・・（４） ここで、フレームメモリ上のオプティカルフローの大き
さｄＰａは、水平移動距離ｄＰx(pixel)，垂直移動距離
ｄＰy(pixel)を用いると、 ｄＰa ＝（ｄＰx²＋ｄＰy²）^1/2 ・・・・・・・・（５） であらわすことができるので、（３）式，（４）式に示
す水平移動距離ｄＰx(pixel)，垂直移動距離ｄＰy(pixe
l)と相対速度Ｖs ，車間距離Ｚとの関係から、相対速度
Ｖs が大きく、車間距離Ｚが短いほど、オプティカルフ
ローの大きさ（以下、単にフローの大きさという）ｄＰ
ａは大きくなることがわかる。つまり、仮に相対速度Ｖ
s が一定ならば、フローの大きさｄＰａが大きくなるほ
ど、自車両と後続車両との車間距離Ｚが詰まってきてい
ると判定することができる。 【００２２】このフローの大きさｄＰａの算出は、演算
手段６において行なわれ、演算手段６は、後方を走行す
る後続車両に対応する全てのオプティカルフローについ
て、それらの大きさｄＰａを算出し、オプティカルフロ
ーの発生番地（画像上における着目画素の番地）と対応
させるようになっている。ところで、（３）〜（５）式
より、車間距離Ｚ，相対速度Ｖｓが同一ならばオプティ
カルフローの大きさｄＰａも等しいことがわかる。つま
り、後続車両から発生する複数のオプティカルフローに
ついて考えた場合、同一の後続車両から発生するオプテ
ィカルフローであれば、その大きさｄＰａは略等しく、
逆に異なる後続車両から発生するオプティカルフローで
あれば、その大きさｄＰａも異なるといえる。 【００２３】また、この逆も言え、画像上のオプティカ
ルフローの大きさｄＰａが同一であれば、それは同一の
後続車両から発生した可能性が高く、大きさｄＰａの異
なる複数のオプティカルフローが存在していれば、複数
の後続車両が存在していると判断することができる。し
たがって、大きさｄＰａの異なる複数のオプティカルフ
ローが検出された場合、同じ大きさｄＰａのオプティカ
ルフローをグループ化して一つのオプティカルフロー群
とすることにより、オプティカルフロー群の位置と個数
から後続車両の位置と台数を推定することが可能とな
る。 【００２４】本後方情報検出装置では、演算手段６の機
能要素であるグループ化処理手段６Ａにより、上述のオ
プティカルフローのグループ化処理を行なうようになっ
ている。例えば、図２（ｃ）では、後続車両１０１，１
０２に対応するオプティカルフローｆ₁ ，ｆ₂ ，ｆ₃ ，
ｆ₄ が存在するが、後続車両１０１に対応するオプティ
カルフローｆ₁ ，ｆ₂ は大きさが略等しく、また、後続
車両１０１に対応するオプティカルフローｆ₃ ，ｆ₄ は
大きさが略等しく、そして、オプティカルフローｆ₁ ，
ｆ₂ とオプティカルフローｆ₃ ，ｆ₄ とでは大きさは異
なる。 【００２５】そこで、グループ化処理手段６Ａでは、オ
プティカルフローｆ₁ ，ｆ₂ とこれらと同じ大きさの他
のオプティカルフローとをグループ化してオプティカル
フロー群Ｆ₁ として設定し、オプティカルフローｆ₃ ，
ｆ₄ とこれらと同じ大きさの他のオプティカルフローと
をグループ化してオプティカルフロー群Ｆ₂ として設定
するようになっている。 【００２６】なお、グループ化に際しては、グループ化
処理手段６Ａはオプティカルフローの大きさｄＰａのみ
ならず、オプティカルフローの向きや発生番地の位置関
係も考慮に入れるようになっている。例えば、同じ大き
さのオプティカルフローであっても向きが全く異なれば
同一の物体から発生したものではないと判断し、また、
同じ大きさの２つのオプティカルフローの間に、大きさ
の異なるオプティカルフローが存在していれば、２つの
オプティカルフローの間に連続性がないので異なる物体
から発生したオプティカルフローと判断するようになっ
ている。 【００２７】また、グループ化処理手段６Ａで設定した
オプティカルフロー群の数、即ち、推定される後続車両
の台数は、台数表示手段９に入力され、台数表示手段９
によりドライバに対して表示されるようになっている。
例えば、図２（ｃ）の場合では、２つのオプティカルフ
ロー群Ｆ₁ ，Ｆ₂ が存在するので、台数表示手段９には
２台と表示される。 【００２８】こうしてグループ化処理手段６Ａによるオ
プティカルフローのグループ化が行なわれると、演算手
段６は、さらに、その機能要素である判定対象選定手段
６Ｂにより、グループ化された複数のオプティカルフロ
ー群の中から危険度判定の対象とするべきオプティカル
フロー群を選定するようになっている。判定対象選定手
段６Ｂは、まず、グループ化処理手段６Ａでグループ化
された複数のオプティカルフロー群について、それぞれ
の重心位置、即ち、オプティカルフロー群を構成する複
数のオプティカルフローの水平方向，垂直方向の平均発
生番地を算出するようになっている。 【００２９】そして、各オプティカルフロー群の重心位
置を比較し、垂直方向の重心位置が最も下方にあるオプ
ティカルフロー群を危険度の判定対象に選定するように
なっている。つまり、判定対象選定手段６Ｂは、自車両
に最接近している後続車両を危険度の対象と選定するの
である。例えば、図２（ｃ）の場合では、２つのオプテ
ィカルフロー群Ｆ₁ ，Ｆ₂ の重心位置Ｏ₁ ，Ｏ₂ を比較
すると、重心Ｏ₂ の方が下方に位置しているので、判定
対象選定手段６Ｂは、オプティカルフロー群Ｆ ₂ が自車
両に最接近している後続車両に該当すると判定する。 【００３０】このようにして、自車両に最接近している
後続車両に該当するオプティカルフロー群が危険度判定
対象に選定されると、演算手段６は、選定されたオプテ
ィカルフロー群、図２（ｃ）においてはオプティカルフ
ロー群Ｆ₂ を、演算対象のオプティカルフロー群Ｆ_a と
して設定し、以下の演算処理を行なうようになってい
る。 【００３１】まず、演算手段６は、演算対象として設定
したオプティカルフロー群Ｆ_a におけるオプティカルフ
ローの総数（以下、単にフローの総数という）Ｍ、即
ち、オプティカルフロー群Ｆ_a に対応する着目画素の総
数を算出するようになっている。なお、このフローの総
数Ｍは、被検出車両の前面面積をＡ、ＣＣＤカメラ２の
総画素数をＡc 、ＣＣＤカメラ２の水平画角をθ１、Ｃ
ＣＤカメラ２の垂直画角をθ２としたとき、次式のよう
に算出することができる。 Ｍ＝Ａ×Ａc ／（４×ｔａｎ（θ１／２）×ｔａｎ（θ２／２））／Ｚ² ・・・・・・・・（６） さらに、演算手段６は、先に算出したオプティカルフロ
ー群Ｆ_a に対応するＭ個のフローの大きさｄＰa の総
和、即ち、オプティカルフロー群Ｆ_a に対応するオプテ
ィカルフローの総量（以下、単にフローの総量という）
ΣｄＰa を算出するようになっている。そして、算出し
たフローの総数Ｍ、フローの総量ΣｄＰaから、フロー
の大きさｄＰa の平均値ｄＰave.（ｄＰave.＝ΣｄＰa
／Ｍ）を算出するようになっている。 【００３２】こうして演算手段６において演算されたオ
プティカルフロー群Ｆ_a のフローの大きさの平均値ｄＰ
ave.は、危険度判定手段７において、オプティカルフロ
ー群Ｆ_a に該当する後続車両１０２の危険度、即ち、自
車両が後続車両１０２の走行する隣車線へ車線変更する
際の危険度を判定する際の基準とされる。つまり、危険
度判定手段７は、フローの大きさの平均値ｄＰave.が所
定値を越えたときには、隣車線への車線変更は危険と判
定して警報表示モニター８を作動させるようになってい
るのである。なお、警報表示モニター８は、フローの大
きさの平均値ｄＰave.に基づく危険度が段階的に示され
るようになっており、危険度が所定値を越えた時には、
警報音や警報表示によってドライバに警告するようにな
っている。 【００３３】ここで、フローの大きさの平均値ｄＰave.
を危険度判定の基準に適用する意義について説明する
と、まず、その前に危険度情報として一般に用いられる
減速度関数について説明する必要がある。通常、２台の
車両が前後に連なって走行する場合の安全走行距離Ｄs
は、先行車両がブレーキをかけた場合を想定して次式の
ように定められている。 Ｄs ＝Ｖr ×Ｔm ＋Ｖr²／２／Ａr −Ｖf²／２／Ａf ・・・・・・・（７） 上式においてＴm は車間時間であり、Ｖf ，Ｖr はそれ
ぞれ自車両（即ち、先行車両）, 後続車両の車速、Ａf
，Ａr はそれぞれ自車両（即ち、先行車両）,後続車両
の減速度を示している。 【００３４】ここで、高速道路での通常走行では、車間
時間Ｔm は１〜２秒、一般的なドライバが踏める最大減
速度は６．０m/s²と言われており、車間時間Ｔm を１．
３秒、自車両の減速度Ａf を６．０m/s²とすると、後続
車両の減速度Ａr は次式で表すことができる。 Ａr ＝（Ｖr²／２）／（Ｄs −１．３×Ｖr ＋Ｖf²／１２）・・・・・（８） 上式は、車速Ｖf で走行中の自車両が、通常考えられる
最大減速度（６．０m/s²）で急減速した時に、一般的な
車間時間１．３秒の安全車間距離Ｄs を保つのに必要
な、車速Ｖr で走行中の後続車に要求される減速度Ａr
に対応しており、この減速度Ａr が一般的に危険度とし
て用いられている減速度関数である。 【００３５】この減速度関数Ａr により表される危険度
は、（８）式からもわかるように、車間距離Ｄs が短い
ほど、また、車両間の速度差（即ち、Ｖr −Ｖf ）が大
きいほど、大きくなっており、実際の走行におけるドラ
イバの感覚にも適合したものである。したがって、この
減速度関数により表される危険度と同様の特性をもった
危険度判定のパラメータを設定することが有意義と考え
られる。 【００３６】ところで、（３）式〜（５）式で表される
フローの大きさｄＰa も、前述のように相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど、大きくなっ
ているので、減速度関数Ａr により表される危険度とそ
の特性が一致している。ところが、オプティカルフロー
の算出基準となる画像上の着目画素は、輝度差に基づい
て設定されるため、光の反射具合等により突然消失する
ことがある。このような場合、オプティカルフローも消
失してしまうため、任意の一つのオプティカルフローに
着目しただけでは、連続的にフローの大きさｄＰa の評
価を行ない危険度を判定することはできない。 【００３７】一方、前述のフローの総数Ｍやフローの総
和ΣｄＰa を危険度判定のパラメータとして適用するこ
とも考えられる。しかしながら、フローの総数Ｍは、
（６）式に示すように、車間距離Ｚが短いほど大きくな
る点では、減速度関数Ａr により表される危険度と特性
が一致するが、被検出車両の前面面積Ａの影響を受け、
また、相対速度とは無関係である。このため、フローの
総数Ｍが大きくなったとしても、それが車間距離が短く
なったためなのか、それとも被検出車両が大きいためな
のか区別がつかない。また、実際の走行では、オプティ
カルフローの発生総数は被検出車両の前面面積の他に、
車両の形状や色の影響も受け、さらには、前述のよう
に、オプティカルフローの一つ一つは、光の反射具合等
により消失したり発生したりするため、正確な危険度判
定をすることはできない。 【００３８】同様に、フローの総量ΣｄＰa では、
（３）式〜（６）式から分かるように、相対速度Ｖs が
大きいほど、また、車間距離Ｚが短いほど大きくなる点
では、減速度関数Ａr により表される危険度と一致する
が、被検出車両の前面面積Ａの影響を受ける点ではフロ
ーの総数Ｍと同様であり、相対速度Ｖs ，車間距離Ｚに
基づく正確な危険度判定をすることはできない。 【００３９】これに対し、フローの大きさの平均値ｄＰ
ave.では、フローの総和ΣｄＰa をフローの総数Ｍで除
算することにより、被検出車両の前面面積Ａや車両の形
状や色等の影響は排除される。また、複数のフローの大
きさｄＰa の平均であるため、仮に着目画素の一つが画
面上から消失したとしても、フローの大きさの平均値ｄ
Ｐave.の連続性が失われたり、大きく変化したりするこ
とはない。 【００４０】そして、図４に示すように、フローの大き
さの平均値ｄＰave.の車間距離Ｚに対する特性は、減速
度関数Ａr により表される危険度の特性と一致してい
る。なお、ここでは、フローの大きさの平均値ｄＰave.
を（３）式〜（５）式から算出されるフローの大きさｄ
Ｐa で表しており、（３）式，（４）式における各変数
の値は次の値を用いている。Ｗ：３．５ｍ，Ｈ：１．４
ｍ，Ｄ：０．００１５ｍ，Ｎ：５フレーム，ｎ１：２５
６pixel ，ｎ２：２４０pixel ，Ｌ１：０．００６５４
ｍ，Ｌ２：０．００４８９ｍ，Ｖs ：４０ｋｍ／ｈ。ま
た、減速度関数により表される危険度Ａr の算出にあた
り（８）式における各変数は次の値を用いている。Ｖf
：８０ｋｍ／ｈ，Ｖr ：１２０ｋｍ／ｈ。 【００４１】つまり、フローの大きさの平均値ｄＰave.
を危険度判定の基準とすることにより、減速度関数Ａr
により表される危険度と同様に、車間距離Ｚが短いほ
ど、また、相対速度Ｖs が大きいほど危険度が大きくな
るという、実際の走行におけるドライバの感覚にも適合
した危険度判定を行なうようになっているのである。こ
こで、図５，図６は、実際に車両に本オプティカルフロ
ー式後方情報検出装置を搭載し実験した結果を示すもの
である。 【００４２】まず、図５は、フローの総数Ｍの理論値と
実験値とを比較したものであり、実線は（６）式で示さ
れるフローの総数Ｍの理論値であり、□は相対速度Ｖs
を４０ｋｍ／ｈに設定した場合の実験値、▲は相対速度
Ｖs を５ｋｍ／ｈに設定した場合の実験値である。図５
に示すように、車間距離Ｚが短いほどフローの総数Ｍも
増加傾向にはあるが、理論値にはのっておらず、また、
相対速度Ｖs が小さいほど不安点になっている。したが
って、この実験結果からも、フローの総数Ｍは危険度と
しては不適当であることがわかる。また、実験データに
はないが、フローの総量ΣｄＰa も同様のことが言え
る。 【００４３】一方、図６は、フローの大きさの平均値ｄ
Ｐave.の理論値と実験値とを比較したものであり、実線
は（３）式〜（５）式で示されるフローの大きさｄＰav
e.の理論値である。また、■，△は実験で得られたフロ
ーの大きさの平均値ｄＰave.であり、△は昼間の実験デ
ータを示し、■は夜間の実験データを示している。図６
に示すように、危険度の高い状況、即ち、相対速度が大
きく車間距離が狭い状況でも、フローの大きさの平均値
ｄＰave.は安定して理論値にのっており、フローの大き
さの平均値ｄＰave.を危険度として用いることが可能で
あることが、この実験結果からも確認できる。 【００４４】そして、■で示す夜間の実験データの方
が、△で示す昼間の実験データよりもより理論値にのっ
ていることがわかるが、これは、夜間におけるオプティ
カルフローはそのほとんどがヘッドライトより発生する
ので、コントラストが強く、また、発生範囲が安定して
おり、これにより後続車両のみに基づくフローの大きさ
の平均値ｄＰave.を正確に算出できるからである。した
がって、この実験データより、ドライバにとっては危険
度が大きい夜間ほどより正確な危険度判定を行なうこと
ができるという、フローの大きさの平均値ｄＰave.を危
険度として用いることの有用性が確認される。 【００４５】本発明の一実施形態としてのオプティカル
フロー式後方情報検出装置は上述のように構成されてい
るので、例えば、図７，図８に示すような流れで危険度
判定処理が行なわれる。図７に示すように、まず、ＣＣ
Ｄカメラ２より時間ｔにおいて撮像した後方画像を、Ａ
／Ｄ変換器３でＡ／Ｄ変換して第１フレームメモリ４Ａ
に格納する（ステップＳ１００）。次いで、そのΔｔ時
間〔例えば、５／３０秒（５フレーム分）〕後に撮像し
た後方画像を第２フレームメモリ４Ｂに格納する（ステ
ップＳ２００）。 【００４６】オプティカルフロー算出手段５では、各フ
レームメモリ４Ａ，４Ｂに格納されたそれぞれの画像か
ら輝度差に基づいて着目画素を抽出し、２つの画像間に
おける着目画素の対応を求める（ステップＳ３００）。
そして、対応する着目画素を結んだベクトルとしてのオ
プティカルフローを得る。このとき、ＣＣＤカメラ２で
撮像される画像には、後続車両等の他に道路標識等の周
囲風景も含まれるが、オプティカルフロー算出手段５で
は、２画面間の対応着目画素を結んだベクトルの向きに
閾値を設け、後続車両等の自車両に接近する移動物体に
対応するオプティカルフローのみを算出する（以上、ス
テップＳ４００）。 【００４７】演算手段６では、オプティカルフロー算出
手段５で算出された後続車両に対応するオプティカルフ
ローに基づき危険度、即ち、オプティカルフローの大き
さの平均値ｄＰave.を算出する（ステップＳ５００）。
この危険度（平均値）ｄＰave.の算出は次のように行な
う。図８に示すように、まず、演算手段６では、オプテ
ィカルフロー算出手段５で算出された全オプティカルフ
ローについて、その大きさｄＰa を算出する（ステップ
Ｓ５１０）。そして、演算手段６の機能要素であるグル
ープ化処理手段６Ａでは、オプティカルフローをその大
きさｄＰａの分布に基づき、また、オプティカルフロー
の向きや発生番地の位置関係も考慮に入れてグループ化
する（ステップＳ５２０）。このとき、グループ化によ
り形成された複数のオプティカルフロー群の個数は、台
数表示手段９において、自車両に接近する後続車両の台
数として表示する。次に、判定対象選定手段６Ｂでは、
グループ化処理手段６Ａにおいて形成された複数のオプ
ティカルフロー群のそれぞれについて重心位置を算出
し、重心位置が最下方にあるオプティカルフロー群を危
険度の判定対象に選定する（ステップＳ５３０）。 【００４８】危険度の判定対象となるオプティカルフロ
ー群Ｆ_a が選定されると、演算手段６では、オプティカ
ルフロー群Ｆ_a に属するオプティカルフローの総数Ｍを
算出し（ステップＳ５４０）、次に、オプティカルフロ
ー群Ｆ_a に対応するＭ個のフローの大きさｄＰa の総
和、即ち、フローの総量ΣｄＰa を算出し（ステップＳ
５５０）、算出したフローの総数Ｍ、フローの総量Σｄ
Ｐa から、フローの大きさｄＰa の平均値ｄＰave.（ｄ
Ｐave.＝ΣｄＰa ／Ｍ）を算出して危険度とする（ステ
ップＳ５６０）。 【００４９】危険度判定手段７では、演算手段６におい
て演算された危険度（フローの大きさの平均値ｄＰav
e.）を予め設定した所定値と比較し（ステップＳ６０
０）、危険度が所定値を越えたときには、隣レーンへの
車線変更は危険と判定して警報表示モニター８に警報表
示させる。（ステップＳ７００） このように、本オプティカルフロー式後方情報検出装置
では、複数のオプティカルフローが得られた場合、これ
らのオプティカルフローをその大きさｄＰａの分布に基
づいて関連付けられるオプティカルフロー群にグループ
化するようになっているので、自車両に接近する車両が
複数存在する場合、オプティカルフロー群の数により接
近する後続車両の台数を把握することができるという利
点がある。 【００５０】そして、オプティカルフロー群の位置関係
から自車両に最接近している車両に該当するオプティカ
ルフロー群を特定することができ、このオプティカルフ
ロー群に基づいて危険度を算出することにより、ドライ
バの感覚に合致した危険度判定を行なうことができると
いう利点がある。また、本オプティカルフロー式後方情
報検出装置では、オプティカルフローの大きさｄＰａに
基づき隣レーンへの車線変更時の危険度判定を行なって
いるが、オプティカルフローの大きさｄＰａ自体は、フ
ローの総数Ｍやフローの総量ΣｄＰa のように後続車両
の大きさの影響を受けず、また、オプティカルフローの
大きさｄＰa と減速度関数Ａr による危険度との相対速
度Ｖs ，車間距離Ｚに対する特性は一致しているので、
被検出車両の大きさによらず均一に、かつ、ドライバの
感覚にも適合した危険度判定を行なうことができる。 【００５１】そして、一つのオプティカルフローの大き
さｄＰa を基準とするのではなく、後続車両に対応する
全てのオプティカルフローの大きさの平均値ｄＰave.を
基準として危険度判定を行なっているので、光の反射具
合の変化等によりオプティカルフローが消失したり、ま
た、後続車両の接近によりオプティカルフローが増加し
たような場合でも、それらの影響を受けずに、常に安定
した危険度判定を行なうことが可能である。 【００５２】特に、危険度が高い場面、例えば、後続車
両と自車両との車間距離Ｚが非常に狭くなっており、か
つ相対速度Ｖs が大きいような場合には、危険度に関す
る情報も安定性が強く要求される。このような場合、Ｃ
ＣＤカメラ２上での後続車両の画像も大きくなるので、
平均化処理のサンプルとなる後続車両に対応するオプテ
ィカルフローの総数も増加し、また、相対速度Ｖs が大
きいほどオプティカルフローの大きさｄＰa も大きくな
るので、オプティカルフローの大きさの平均値ｄＰave.
の算出精度も向上し、より安定した危険度判定が可能と
なる。 【００５３】さらに、夜間もドライバにとっては危険度
が大きいが、夜間におけるオプティカルフローはそのほ
とんどがヘッドライトより発生するので、コントラスト
が強く且つ発生範囲が安定している。このため、後続車
両のみに基づくフローの大きさの平均値ｄＰave.を正確
に算出することができ、正確且つ安定した危険度判定が
可能になるという利点もある。 【００５４】なお、本発明は上述した実施形態に限定さ
れるものではなく、本発明の趣旨を逸脱しない範囲で種
々変形して実施することができ、例えば、本実施形態で
は、判定対象選定手段６Ｂによる自車両へ最接近した車
両の選定において、画像上の最下方に位置するオプティ
カルフロー群を最接近車両と選定するようになっている
が、ＣＣＤカメラ２で得られた画像情報から道路上の白
線を抽出し、抽出した白線との位置関係から最接近車両
を特定するようにしてもよい。 【００５５】また、本実施形態のように自車両へ最接近
した車両を危険度の判定対象とするのではなく、次のよ
うにして危険度の判定対象を選定してもよい。つまり、
判定対象選定手段６Ｂにおいて、各オプティカルフロー
群について重心位置を算出するとともに、併せてオプテ
ィカルフロー群の平均ベクトル、即ち、平均の大きさと
方向とを算出する。そして、これらの重心位置，ベクト
ルの大きさ，方向に基づき各オプティカルフロー群の画
面上での移動軌跡を算出し、画面の下端若しくは左端ま
たは右端に最も早く到達すると予想されるオプティカル
フロー群を危険度の判定対象に選定する。 【００５６】このようにして危険度の判定対象とするオ
プティカルフロー群を選定することにより、自車両に最
も早く到達すると予測される車両に基づいた危険度の算
出が可能となり、ドライバの感覚により合致した危険度
判定を行なうことができるようになる。また、夜間にお
いては、得られるオプティカルフローはヘッドライトか
ら発生したもののみであるという特徴から、グループ化
処理手段６Ａにおけるオプティカルフローのグループ化
を次のようにして行なうようにしてもよい。 【００５７】つまり、通常ヘッドライトは車両に２つ設
けられており、ヘッドライト間の距離は車幅を越えるこ
とはない。また、ヘッドライトの大きさも車種によって
大きな差はない。したがって、ヘッドライトの大きさと
２つのヘッドライト間の距離との関係は一定範囲内に収
まると考えられ、同様に、画像上における１つのヘッド
ライトに相当するオプティカルフローの総数と、ヘッド
ライトに相当する２つのオプティカルフロー群間の距離
の関係も一定範囲に収まると考えられる。 【００５８】そこで、夜間においては、まず、１つのヘ
ッドライトに相当するオプティカルフローの塊毎にオプ
ティカルフロー群を設定する。そして、各オプティカル
フロー群に属するオプティカルフローの総数と、オプテ
ィカルフロー群相互間の距離とを上述の一定範囲の関係
に照らし合わせ、対応する２つのオプティカルフロー群
を特定する。特定された対応する２つのオプティカルフ
ロー群は、１台の後続車両に相当するものとしてカップ
リングし、１つのオプティカルフロー群として再設定す
る。 【００５９】このように、ヘッドライトに相当する２つ
のオプティカルフロー群の相関関係に基づき１台の後続
車両に該当するオプティカルフロー群を特定することに
より、異車両間でのオプティカルフローの混同が防止さ
れ、夜間におけるより正確な車両台数の把握が可能にな
るとともに、危険度判定もより正確に行なうことが可能
となるという利点がある。 【００６０】 【発明の効果】以上詳述したように、本発明のオプティ
カルフロー式後方情報検出装置によれば、オプティカル
フローをその大きさの分布に基づいて関連付けられるオ
プティカルフロー群にグループ化するようになっている
ので、自車両に接近する物体が複数存在する場合でも、
得られるオプティカルフローの中から危険度の判定対象
とすべき物体に該当するオプティカルフロー群を選定す
ることができ、選定したオプティカルフロー群について
危険度を判定するので、ドライバの感覚に合致した危険
度判定を行なうことができる。 【００６１】そして、危険度の判定は、選定したオプテ
ィカルフロー群に属するオプティカルフローの大きさの
平均値に基づき行なっているので、光の反射具合の変化
等の撮像状況によるオプティカルフローの消失，発生
や、移動物体の大きさによるオプティカルフローの総数
の大小の影響を受けることなく、後側方から接近してく
る移動物体に対する危険度を均一且つ安定して判定する
ことができる。Description: BACKGROUND OF THE INVENTION [0001] 1. Field of the Invention
Using the motion vector (optical flow) on the captured image
To detect vehicles approaching from behind (especially from the rear side).
And an optical flow type backward information detecting device. 2. Description of the Related Art Conventionally, the time at which an image is
Calculate and calculate the movement vector of the same point in two different images
The presence of an approaching moving object from the moving vector
Technologies are known, especially in the field of automobiles.
An image of the rear of the vehicle is captured by a camera or the like, and the rear side (for example,
Detects the presence of another vehicle approaching from the back of the adjacent lane)
Known optical flow type backward information detection device
I have. [0003] This optical flow type rear information detection device
The device is an automatic cruise control device that is being developed in recent years,
That is, the position and orientation of the vehicle with respect to the traveling road and the
The relative relationship of the vehicle, and based on this,
It is also promising as an elemental technology for devices that perform automatic cruise control.
And various optical flow type rear information detectors
Is being planned. For example, Japanese Patent Application Laid-Open No. 8-83345 discloses
The technique shown (first prior art) has a large occupancy in the image
Even if there is a moving object with an area,
Extract the resulting optical flow, and then extract
The moving object is approaching due to the optical flow
This is a technique related to a method of determining whether or not the information is valid. Ma
In addition, the technology disclosed in Japanese Patent Application Laid-Open No. 9-18863 (No.
2 prior art) involves multiple cameras or rotatable cameras.
By providing this, the surveillance area behind the vehicle can be extended to ensure safety
It is intended to enhance the character. [0005] As described above, as described above,
Various types of optical flow type backward information detection device
Research and development, many of which are Optica
The main purpose is to grasp the movement of the object by
And the optical flow itself has any information
There is a lot of discussion on how to use it.
There is no present. For example, in the first prior art described above,
Is an alarm when it is determined that a moving object is approaching
Signal is output.
The physical flow simply determines whether a moving object is approaching or not.
It is only used as a fixed criterion.
Even if you are approaching, you should always issue an alarm
Not necessarily. [0006] By the way, I try to change lanes to the next lane
When driving, the driver must drive from behind the adjacent lane.
After checking the following vehicle, determine whether it is dangerous and then change lanes.
We are making changes. At this time, the driver
Measure the distance between vehicles and the relative speed with your vehicle using a distance meter or speedometer.
It is not a division to measure and judge whether it is dangerous. back
Of the following vehicle, which is visible to the driver's own through mirrors, etc.
I judge the risk of changing lanes based on size and movement
It is. [0007] The size of the following vehicle seen by the driver
And movement are also reflected in the optical flow,
Approaching, the Optica corresponding to the following vehicle
The number of occurrences of optical flows has also increased,
(The length of the vector) also increases. Accordingly
By focusing on this point, the change in optical flow
To determine the degree of danger to following vehicles approaching from behind.
It is considered possible. In the second prior art, the light source corresponding to the following vehicle
The weight of the optical flow in the divergent direction
Weighted value exceeds a certain threshold
Is judged to be dangerous. However, this
2 In the prior art, the optical flow and the risk
It is not clear how they are responding, and
There is no mention of finding. In other words, optical
The value weighted for the flow size is linked to the risk judgment.
Lack the specific validity of the
Due to the nature of the flow, that is, subtle changes in the imaging angle, etc.
Consideration that loss, occurrence, and continuous change do not
It has not been. Further, a following vehicle approaching from the rear side.
Is not always one, and several following vehicles approach
There are cases. In this case, based on the driver's own vision
And the vehicle closest to the host vehicle, or
The degree of danger is determined based on a specific vehicle such as an incoming vehicle.
On the other hand, optical flows extracted from captured images
Includes optical flows for multiple units, of which
Depending on which optical flow you select based on
The risk determination accuracy changes. So, like this
The driver itself can also determine the optical flow in
I want to match the selection criteria when rejecting. [0010] The present invention has been made in view of the above problems.
So, information about the risk of optical flow
Focusing on the usefulness of the vehicle, there are multiple approaching vehicles
So that you can always make a stable risk judgment
To provide an optical flow type backward information detection device
The purpose is to: [0011] Therefore, the present invention provides
In the physical flow type rear information detection device, the imaging means
From the multiple images behind the host vehicle taken at
Optical flow is calculated by the optical flow calculator.
To detect an object approaching the vehicle,
The size of the optical flow can be
Optical flow based on distribution
Grouped into groups and multiple grouped options
Judgment of risk degree by means of judgment target selection from cal flow group
Select an optical flow group to be determined. Soshi
And the judgment target Optica selected by the judgment target selection means
Of the size of the optical flows belonging to the flow group
The value is calculated by the calculation means and the obtained optical flow
Based on the average value of the magnitude, the risk
Risk of approaching object corresponding to elephant optical flow group
Is determined. Thus, the optical flow has
Risk information is used effectively, and
The determined danger level is determined. BRIEF DESCRIPTION OF THE DRAWINGS FIG.
1 to 8 show an embodiment of the present invention.
Optical flow backward information detection device as a form
(Hereinafter simply referred to as a backward information detection device).
You. As shown in FIG.
At a predetermined position (for example, above or below the rear window)
C as an imaging means for imaging the road condition behind the host vehicle
It has a CD camera 2 and can be obtained with a CCD camera 2.
The image information (analog image signal) is stored inside the vehicle 1.
The data is input to the ECU 10 obtained. The ECU 10 includes an A / D converter 3 and a first frame.
Frame memory 4A, second frame memory 4B, Optica
Flow calculation means (DSP) 5, arithmetic means 6, risk judgment
From the CCD camera 2
The analog image signal thus obtained is first sent to the A / D converter 3.
Is converted to a digital image signal.
You. The digital signal processed by the A / D converter 3
The total image signal is stored in the first frame memory 4A and the second frame memory 4A.
Is periodically and alternately stored in the memory 4B.
I have. The storage period of this digital image signal is
Calculation of tick flow (hereinafter abbreviated to flow)
Is determined by the image processing capacity of the
Phase of 5 frames per frame (1/30 second per frame)
The digital image signal is stored in each of the frame memories 4A and 4B due to the difference.
It is assumed to be input. The optical flow calculation means 5 is provided for each frame.
Data having different imaging times stored in the flash memories 4A and 4B.
Calculate optical flow based on digital image signal
It has become. This optical flow calculation means 5
The calculation process of the optical flow in
Then, it becomes as follows. First, the first frame memory 4A
Image (first frame) at time t stored in
From the target image (pixel), and then the second frame
Time t + Δt stored in memory 4B [Δt = 5/30
Second (for 5 frames)] (second frame
) Is extracted. The setting of this pixel of interest
May be set to select pixels above a certain threshold.
The average brightness of surrounding pixels on the captured image
Alternatively, a pixel having a particularly high luminance may be selected. Here, as shown in FIGS.
At different times, at different times,
Vehicles 101, 102 approaching above
Is taken. The image 100A shown in FIG.
The image 10 shown in FIG.
Assuming that 0B is a captured image at time t + Δt,
From the images 100A and 100B, for example, the pixel of interest P _A1 ,
P _A2 , P _A3 , P _A4 , P _B1 , P _B2 , P _B3 , P _B4 Extract
You. Here, for convenience of explanation, each image 100A,
Attention corresponding to each vehicle 101, 102 in 100B
Although there are two pixels each, in reality more
Element will be extracted. Then, each target pixel P _A1 , P _A2 ,
P _A3 , P _A4 , P _B1 , P _B2 , P _B3 , P _B4 Window
S _A1 , S _A2 , S _A3 , S _A4 , S _B1 , S _B2 , S _B3 , S _B4 Set
Window S between two screens 100A and 100B _A1 ~
S _A4 , S _B1 ~ S _B4 Verify the identity of the two screens 100
A corresponding pixel of interest between A and 100B is obtained.
-ing How to verify the identity of this window
Then, a known method can be used.
As described in JP-A-8-83345,
It can be verified by the method or gradient method. The pair between the two screens 100A and 100B
When a corresponding target pixel is determined, these target pixels are connected.
The resulting vector becomes the optical flow. This
Here, the window is S _A1 And S _B1 And S _A2 And S _B2 And S
_A3 And S _B3 And S _A4 And S _B4 Is the same as the pixel of interest
Is P _A1 And P _B1 And P _A2 And P _B2 And P _A3 And P _B3 And P _A4 When
P _B4 Are compatible with each other.
Tical flow f _One , F _Two , F _Three , F _Four Is required. In this way, the other corresponding pixels of interest are
In addition, by verifying the correspondence,
As shown, the following vehicles 101 and 102 traveling behind
Multiple corresponding optical flows can be obtained.
You. In addition to the following vehicles 101 and 102, road signs
Optical flow corresponding to the surrounding scenery such as 103
But they should be relatively far away from the vehicle.
(To converge towards the so-called infinity point)
Therefore, the Optica corresponding to the following vehicles 101 and 102
The direction of the vector is opposite to that of the flow. So, oh
In the optical flow calculation means 5, a threshold is set for the direction of the vector.
Optical flow in the direction approaching the own vehicle by setting a value
Only calculation is performed. By the way, the optical fiber obtained here is
Low indicates the relative position between the actual vehicle and the following vehicle.
It is explained as shown in FIG.
Can be represented by a simple geometric relationship. Figure 3 shows the horizontal plane
Expresses the geometric relationship at
The distance is W, the distance from the own vehicle to the following vehicle is Z, and C
X is the horizontal distance on the screen of the CD camera 2, and CCD camera
The focal length of the lens 2 is D. Here, between N frames
(N / 30 seconds) the relative moving distance of the following vehicle is dz,
Let dx be the lateral movement distance of the CCD camera 2 on the screen.
Then, the horizontal movement distance dx on the screen is expressed as follows.
You. dx = W × D × (1 / (Z−dz) −1 / Z) (1) Further, the relative speed of the following vehicle to the own vehicle is set to Vs.
And the relative movement distance dz of the following vehicle between N frames is
(Vs / 30) × N, so the horizontal moving distance on the screen
The separation dx can be expressed as follows. dx = W × D × (30 / (30 × Z−Vs × N) −1 / Z) (2) The horizontal movement distance dx on the screen is expressed in pixel units.
The horizontal movement distance dPx (pixel) on the frame memory is
The horizontal effective size of the CCD camera 2 is L1 and the number of horizontal pixels is
Assuming that n1, it can be expressed as the following equation. dPx (pixel) = dx × (n1 / L1) = W × D × (30 / (30 × Z−Vs × N) −1 / Z) × (n1 / L1) (3) Similarly, the vertical movement distance dPy (pixel) on the frame memory
Indicates that the installation height of the CCD camera 2 is H,
Assuming that the effective vertical size is L2 and the number of vertical pixels is n2,
It can be expressed like an equation. dPy (pixel) = H × D × (30 / (30 × Z−Vs / N) −1 / Z) × (n2 / L2) (4) Here, on the frame memory Optical flow size
DPa is the horizontal movement distance dPx (pixel), the vertical movement distance
When dPy (pixel) is used, dPa = (dPx ^Two + DPy ^Two ) ^1/2 ·········· (5)
Horizontal moving distance dPx (pixel), vertical moving distance dPy (pixe
l), the relative speed Vs, and the inter-vehicle distance Z, the relative speed
The larger the Vs and the shorter the inter-vehicle distance Z, the more the optical
Row size (hereinafter simply referred to as flow size) dP
It can be seen that a increases. That is, if the relative speed V
If s is constant, the larger the flow size dPa,
The inter-vehicle distance Z between the own vehicle and the following vehicle is getting smaller.
Can be determined. The calculation of the flow size dPa is performed by an arithmetic operation.
The operation is performed in the means 6, and the arithmetic means 6 travels backward.
All optical flows corresponding to the following vehicles
To calculate their magnitude dPa and calculate the optical flow
-Address of occurrence (address of the pixel of interest on the image)
It is made to let. By the way, expressions (3) to (5)
If the inter-vehicle distance Z and the relative speed Vs are the same,
It can be seen that the magnitude dPa of the cull flow is also equal. Toes
The multiple optical flows generated by the following vehicles
Optics generated from the same following vehicle
In the case of a physical flow, the magnitude dPa is substantially equal,
Conversely, with optical flows generated from different following vehicles
If so, it can be said that the magnitude dPa is also different. The reverse is also true.
If the flow size dPa is the same, it is the same
It is highly likely that it has originated from the following vehicle, and the size dPa
If there are multiple optical flows,
It can be determined that the following vehicle exists. I
Therefore, a plurality of optical fibers having different sizes dPa
If a row is detected, the same size dPa Optica
Optical flows into one optical flow group
And the position and number of optical flow groups
It is possible to estimate the position and number of following vehicles from
You. In the backward information detecting device, the operation of the
By the grouping processing means 6A, which is a functional element,
Now performs grouping processing of optical flows
ing. For example, in FIG. 2C, the following vehicles 101, 1
Optical flow f corresponding to 02 _One , F _Two , F _Three ,
f _Four Exists, but the optics corresponding to the following vehicle 101
Cal flow f _One , F _Two Are approximately equal in size, and
Optical flow f corresponding to vehicle 101 _Three , F _Four Is
The size is almost equal and the optical flow f _One ,
f _Two And optical flow f _Three , F _Four Is different in size
Become. Therefore, in the grouping processing means 6A,
Optical flow f _One , F _Two And other of the same size as these
Optical flow by grouping
Flow group F _One Optical flow f _Three ,
f _Four And other optical flows of the same size as these
Are grouped into an optical flow group F _Two Set as
It is supposed to. It should be noted that when grouping,
The processing means 6A is only the size of the optical flow dPa
Not the direction of the optical flow and the location of the generated address.
Sections are also taken into account. For example, the same size
Even if the direction is completely different even if the optical flow is
Judge that they do not originate from the same object,
The size between two optical flows of the same size
If different optical flows exist, two
Different objects due to lack of continuity between optical flows
Is determined to be an optical flow generated from
ing. The setting by the grouping processing means 6A
Number of optical flow groups, that is, estimated following vehicle
Is input to the number display means 9 and the number display means 9
Is displayed to the driver.
For example, in the case of FIG.
Row group F _One , F _Two Exists, so the number display means 9
It is displayed as two. In this way, the grouping processing means 6A
When the grouping of optical flows is performed,
Step 6 further includes a determination target selection means which is a functional element thereof.
6B, a plurality of optical flows grouped together.
ー Optical that should be subject to risk judgment from the group
A flow group is selected. Selection target for judgment
The stage 6B is first grouped by the grouping processing means 6A.
For each of the multiple optical flow groups
Position of the center of gravity, i.e., the
Average number of optical flows in the horizontal and vertical directions
The raw address is calculated. Then, the center of gravity of each optical flow group
Position of the vertical center of gravity is the lowest.
Tick flow group is now selected for risk assessment
Has become. That is, the determination target selection unit 6B determines whether the vehicle
The following vehicles that are closest to
It is. For example, in the case of FIG.
Physical flow group F _One , F _Two Center of gravity position O _One , O _Two Compare
Then, the center of gravity O _Two Is located below, so judge
The object selecting means 6B is provided with the optical flow group F _Two But own car
It is determined that it corresponds to the following vehicle closest to both. In this way, the vehicle is closest to the host vehicle.
The optical flow group corresponding to the following vehicle determines the degree of risk
When the object is selected, the calculating means 6 outputs the selected option.
Optical flow group, optical fiber in FIG. 2 (c)
Row group F _Two Is the optical flow group F to be calculated _a When
And perform the following arithmetic processing.
You. First, the calculating means 6 sets the object to be calculated.
Optical flow group F _a Optical in
The total number of rows (hereinafter simply referred to as the total number of flows) M,
C, optical flow group F _a Of the pixel of interest corresponding to
The number is calculated. Note that this flow
The number M represents the area of the front surface of the detected vehicle as A, the CCD camera 2
The total number of pixels is Ac, the horizontal angle of view of the CCD camera 2 is θ1, C
Assuming that the vertical angle of view of the CD camera 2 is θ2,
Can be calculated. M = A × Ac / (4 × tan (θ1 / 2) × tan (θ2 / 2)) / Z ^Two (6) Further, the calculating means 6 calculates the optical flow
ー Group F _a Of the size dPa of the M flows corresponding to
Sum, ie, optical flow group F _a Opt corresponding to
Total flow (hereinafter simply referred to as total flow)
ΣdPa is calculated. And calculate
From the total number of flows M and the total amount of flows divided by dPa
(DPave. = ΣdPa)
/ M). The operation calculated by the operation means 6 in this way
Optical flow group F _a Average value of the flow size dP
ave. in the risk determination means 7
ー Group F _a Of the following vehicle 102 corresponding to
The vehicle changes lanes to the next lane in which the following vehicle 102 runs
It is used as a criterion for determining the degree of danger. In other words, dangerous
The degree determination means 7 determines the average value dPave.
If the specified value is exceeded, changing to the next lane is considered dangerous.
The alarm display monitor 8 is activated
Because The alarm display monitor 8 displays a large flow.
The danger based on the average dPave.
When the risk exceeds a predetermined value,
The driver will be warned with an audible alarm or warning.
ing. Here, the average value dPave.
Explain the significance of applying to the risk criteria
First, it is generally used as risk information before that
It is necessary to explain the deceleration function. Usually two
Safe traveling distance Ds when the vehicle runs in a row
Is based on the following formula, assuming that the preceding vehicle brakes.
It is determined as follows. Ds = Vr × Tm + Vr ^Two / 2 / Ar-Vf ^Two / 2 / Af (7) In the above equation, Tm is the following time, and Vf and Vr are
The own vehicle (ie, the preceding vehicle) and the following vehicle speed, Af
, Ar are the own vehicle (ie, the preceding vehicle) and the following vehicle, respectively.
Deceleration. Here, in normal running on a highway, the distance between vehicles
Time Tm is 1-2 seconds, the maximum reduction that a general driver can step on
Speed is 6.0m / s ^Two It is said that the inter-vehicle time Tm is 1.
3 seconds, deceleration Af of own vehicle is 6.0m / s ^Two Then the following
The deceleration Ar of the vehicle can be expressed by the following equation. Ar = (Vr ^Two /2)/(Ds-1.3*Vr+Vf ^Two / 12) ········· (8) In the above equation, the own vehicle traveling at the vehicle speed Vf is usually considered
Maximum deceleration (6.0m / s ^Two ), When sudden deceleration
Required to maintain a safe inter-vehicle distance Ds of 1.3 seconds
The deceleration Ar required for the following vehicle traveling at the vehicle speed Vr
This deceleration Ar is generally regarded as the degree of danger.
This is the deceleration function used. The risk expressed by the deceleration function Ar
Means that the inter-vehicle distance Ds is short, as can be seen from equation (8).
Also, the speed difference between the vehicles (that is, Vr-Vf) increases.
It is getting bigger,
It fits the feeling of Iva. So this
Has characteristics similar to the degree of risk represented by the deceleration function
I think it is worthwhile setting parameters for risk judgment
Can be By the way, equations (3) to (5) are used.
As described above, the magnitude dPa of the flow also has a relative velocity Vs
The larger the distance and the shorter the inter-vehicle distance Z, the larger the distance
Therefore, the danger expressed by the deceleration function Ar and its
Characteristics are consistent. However, optical flow
The pixel of interest on the image, which is the reference for calculating
Suddenly disappears due to light reflection
Sometimes. In such a case, the optical flow is also turned off.
To any one optical flow
By simply paying attention, it is possible to continuously evaluate the flow size dPa.
It is not possible to judge the degree of danger by performing value. On the other hand, the total number M of flows and the total
The sum ΣdPa is applied as a parameter for determining the degree of risk.
You might also say that. However, the total number M of flows is
As shown in equation (6), the shorter the inter-vehicle distance Z, the larger the distance.
In this regard, the danger and characteristics represented by the deceleration function Ar
But is affected by the front area A of the detected vehicle,
It is independent of the relative speed. Because of this,
Even if the total number M is large, it is short inter-vehicle distance.
Or because the detected vehicles are large.
It cannot be distinguished. Also, in actual driving,
The total number of occurrences of cal flow is in addition to the front area of the detected vehicle,
Also affected by the shape and color of the vehicle,
In addition, each optical flow is based on the degree of light reflection, etc.
Due to the loss or occurrence of
Can not be determined. Similarly, for the total amount of flow ΣdPa,
As can be seen from equations (3) to (6), the relative velocity Vs is
The larger the distance, the shorter the inter-vehicle distance Z, the larger the point
Now, it coincides with the degree of risk represented by the deceleration function Ar
However, at the point affected by the front area A of the detected vehicle,
The total speed M, the relative speed Vs and the inter-vehicle distance Z
It is not possible to make an accurate risk determination based on this. On the other hand, the average value dP of the flow size
ave. divides the sum of flows ΣdPa by the total number M of flows.
The front area A of the detected vehicle and the shape of the vehicle
Effects such as shape and color are excluded. In addition, large flows
Since this is the average of the magnitude dPa, one of the pixels of interest temporarily
Even if it disappears from the surface, the average value d of the flow size
Loss of continuity of Pave.
And not. Then, as shown in FIG.
The characteristic of the average value dPave.
The risk function represented by the degree function Ar
You. Here, the average value dPave.
Is the size d of the flow calculated from the equations (3) to (5).
Pa, and each variable in equations (3) and (4)
The following values are used for W: 3.5m, H: 1.4
m, D: 0.0015 m, N: 5 frames, n1: 25
6 pixels, n2: 240 pixels, L1: 0.00654
m, L2: 0.00489 m, Vs: 40 km / h. Ma
In addition, when calculating the degree of risk Ar represented by the deceleration function,
Each variable in equation (8) uses the following values. Vf
: 80 km / h, Vr: 120 km / h. That is, the average value dPave.
The deceleration function Ar
As with the danger represented by
Also, the greater the relative speed Vs, the greater the risk.
Fits the driver's feeling in actual driving
That is, the judgment of the risk level is performed. This
FIGS. 5 and 6 show the actual optical flow on the vehicle.
-The result of an experiment with a built-in rear information detection device
It is. First, FIG. 5 shows the theoretical value of the total number M of flows and
It is a comparison with the experimental value, and the solid line is shown by the equation (6).
Is the theoretical value of the total number of flows M, and □ is the relative velocity Vs
Is the experimental value when is set to 40 km / h, and ▲ is the relative speed
This is an experimental value when Vs is set to 5 km / h. FIG.
, The shorter the inter-vehicle distance Z, the smaller the total number M of flows
There is an increasing trend, but it is not the theoretical value.
The smaller the relative speed Vs, the more anxious. But
Therefore, from this experimental result, the total number M of flows is
Is inappropriate. In addition, experimental data
No, but the same can be said for the total amount of flow フ ロ ー dPa.
You. FIG. 6 shows the average value d of the flow size.
This is a comparison between the theoretical and experimental values of Pave.
Is the size dPav of the flow represented by the equations (3) to (5).
This is the theoretical value of e. ■ and △ are flow charts obtained in the experiment.
Is the average value of dPave.
■ indicates nighttime experimental data. FIG.
As shown in the figure, the situation with high risk, that is,
Average value of flow size even in situations where the distance between vehicles is short
dPave. is stably at the theoretical value, and the flow
It is possible to use the average dPave.
This can be confirmed from the experimental results. Then, the nighttime experimental data indicated by ■
Is more theoretical than the daytime experimental data shown by △.
But this is the nighttime optics
Most of the cal flow comes from headlights
Therefore, the contrast is strong and the generation range is stable
And the size of the flow based only on the following vehicle
This is because the average value dPave. did
Therefore, it is dangerous for drivers from this experimental data
Performing a more accurate risk assessment at night with higher degrees
The average value of the flow size dPave.
The usefulness of using it as steepness is confirmed. Optical as one embodiment of the present invention
The flow-type rear information detection device is configured as described above.
Therefore, for example, in the flow shown in FIGS.
A determination process is performed. As shown in FIG.
The rear image taken by the D camera 2 at time t is represented by A
A / D conversion by the / D converter 3 and the first frame memory 4A
(Step S100). Then, at that time
After [for example, 5/30 seconds (5 frames)]
Stored in the second frame memory 4B.
Step S200). In the optical flow calculation means 5, each flow
Each image stored in the frame memories 4A and 4B
And extract the pixel of interest based on the luminance difference between the two images.
The correspondence of the pixel of interest in step S300 is determined (step S300).
Then, as a vector connecting the corresponding pixels of interest,
Obtain optical flow. At this time, the CCD camera 2
The captured image may include information such as traffic signs,
Although the surrounding scenery is included, the optical flow calculating means 5
Is the direction of the vector connecting the corresponding pixels of interest between the two screens.
Set a threshold value for moving objects approaching the vehicle, such as following vehicles.
Only the corresponding optical flow is calculated (
Step S400). The calculating means 6 calculates an optical flow.
The optical curve corresponding to the following vehicle calculated by the means 5
Risk based on the row, that is, the size of the optical flow
The average value dPave. Is calculated (step S500).
The calculation of the risk (average value) dPave. Is performed as follows.
U. First, as shown in FIG.
All optical curves calculated by the optical flow calculation means 5
For the row, calculate its size dPa (step
S510). Then, the glue, which is a functional element of
In the loop processing means 6A, the optical flow is
Optical flow based on the distribution of the magnitude dPa
Grouping taking into account the direction of the location and the location of the addresses
(Step S520). At this time,
The number of optical flow groups formed
The number display means 9 indicates the platform of the following vehicle approaching the own vehicle.
Display as a number. Next, in the judgment target selection means 6B,
A plurality of options formed in the grouping processing means 6A
Calculate the center of gravity for each tick flow group
And the optical flow group whose center of gravity is at the bottom
It is selected as a target for determining the steepness (step S530). Optical flow for which the degree of risk is determined
ー Group F _a Is selected, the calculating means 6
Leflow group F _a Total number M of optical flows belonging to
Calculation (step S540), and then
ー Group F _a Of the size dPa of the M flows corresponding to
The sum, that is, the total amount of flow ΣdPa is calculated (step S
550), the calculated total number M of flows, the total amount of flows フ ロ ー d
From Pa, the average value dPave. (D of the flow size dPa)
Pave. = ΣdPa / M) is calculated as the risk (step
Step S560). In the risk determining means 7,
(The average value dPav of the flow size)
e.) is compared with a predetermined value set in advance (step S60).
0), when the risk exceeds a predetermined value,
The lane change is judged to be dangerous and an alarm display is displayed on the alarm display monitor 8.
Let me show you. (Step S700) As described above, the present optical flow type backward information detecting device
Now, if you get multiple optical flows,
Optical flow based on the distribution of the size dPa
Optical flow group associated with
Vehicles approaching their own vehicles
If there is more than one,
The advantage is that the number of vehicles approaching
There are points. Then, the positional relationship between the optical flow groups
Optica corresponding to the vehicle closest to your vehicle from
The optical flow group can be specified.
By calculating the risk based on the row group,
If it is possible to judge the degree of risk that matches the sense of the
There are advantages. Also, this optical flow type rear information
In the information detection device, the size of the optical flow dPa
Based on the risk judgment when changing lanes to the next lane
However, the size of the optical flow dPa itself is
The following vehicle, such as the total number of rows M or the total amount of flows ΣdPa
Unaffected by the size of the optical flow
The relative speed between the magnitude dPa and the degree of danger by the deceleration function Ar
Since the characteristics for the degree Vs and the inter-vehicle distance Z are the same,
Evenly regardless of the size of the detected vehicle,
It is possible to determine the degree of risk that is also suitable for the sense. Then, the size of one optical flow
Instead of using dPa as the reference,
The average value dPave. Of the size of all optical flows
Since the risk assessment is performed as a reference, a light reflector
Optical flow disappears due to changes in
Optical flow increases due to the approach of following vehicles.
Even if it is, it is always stable without being affected by them
It is possible to make a risk determination. In particular, a scene with a high risk, for example, a following vehicle
The inter-vehicle distance Z between both vehicles and the own vehicle is very small,
When the relative speed Vs is large, the risk
Information is also strongly required to be stable. In such a case, C
Since the image of the following vehicle on the CD camera 2 also becomes large,
Opt for the following vehicle, which is a sample of the averaging process
And the relative velocity Vs is large.
The larger the optical flow size dPa becomes,
Therefore, the average value dPave.
Calculation accuracy is improved, and more stable risk determination is possible.
Become. Further, even at night, the degree of danger for the driver
Optical flow at night,
The contrast comes from the headlights
And the generation range is stable. Because of this,
Accurate average value dPave. Of flow size based only on both
And accurate and stable risk determination
There is also the advantage that it becomes possible. The present invention is limited to the above-described embodiment.
It is not intended to deviate from the spirit and scope of the present invention.
Various modifications can be implemented, for example, in this embodiment
Is the vehicle closest to the own vehicle by the determination target selection means 6B
In both cases, the opt
The Cal Flow group is now selected as the closest vehicle
Is white on the road from the image information obtained by the CCD camera 2.
Extract the line, and determine the closest vehicle based on the positional relationship with the extracted white line.
May be specified. Also, as in this embodiment, the closest approach to the own vehicle is made.
Instead of making a vehicle that has a risk
In this way, the target of the risk determination may be selected. That is,
In the judgment target selecting means 6B, each optical flow
Calculate the center of gravity for the group and
Vector of the physical flow group, that is,
Calculate the direction. And the position of these centers of gravity,
Of each optical flow group based on the size and direction of the
Calculate the trajectory on the screen and move it to the bottom or left edge of the screen.
Or the optical that is expected to reach the right end earliest
A flow group is selected as a risk determination target. In this way, the danger level is determined.
By selecting a group of optical flows,
Calculation based on vehicles expected to arrive sooner
Is possible, and the degree of danger matched to the driver's feeling
The judgment can be made. Also, at night
Is the resulting optical flow a headlight?
Grouping based on the feature that only
Grouping of optical flows in processing means 6A
May be performed as follows. That is, two headlights are usually provided on the vehicle.
The distance between the headlights must not exceed the vehicle width.
And not. Also, the size of the headlight depends on the model
There is no big difference. Therefore, the size of the headlights and
The relationship between the distance between the two headlights is within a certain range.
It is considered to be likewise, similarly, one head on the image
Total number of optical flows equivalent to light and head
Distance between two optical flow groups corresponding to light
Is also considered to fall within a certain range. Therefore, at night, first, one head
Optical light
Set the tick flow group. And each optical
The total number of optical flows belonging to the flow group
The distance between the physical flow groups and the above-mentioned fixed range
And two corresponding optical flow groups
To identify. Two corresponding optical identities identified
Rows are cups as equivalent to one following vehicle
Ring and reset as one optical flow group
You. As described above, two headlights are used.
One subsequent unit based on the correlation of the optical flow group
To identify the optical flow group corresponding to the vehicle
Optical flow between different vehicles is prevented.
This makes it possible to more accurately grasp the number of vehicles at night.
As well as more accurate risk determination
There is an advantage that it becomes. As has been described in detail above, the present invention
According to the Calflow type backward information detection device, the optical
An associated flow based on its size distribution
Grouped into optical flows
Therefore, even if there are multiple objects approaching the vehicle,
Target of risk judgment from the obtained optical flows
Select the optical flow group corresponding to the object to be
About the selected optical flow group
Determines the degree of danger, so that the danger matches the driver's feeling
A degree determination can be made. The judgment of the degree of danger is based on the selected option.
Of the size of the optical flow belonging to the optical flow group
Changes in light reflection are based on average values
Loss and occurrence of optical flow due to imaging conditions
And the total number of optical flows depending on the size of the moving object
Approach from behind without being affected by the size of
Uniform and stable determination of the risk of moving objects
be able to.

【図面の簡単な説明】 【図１】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置の構成を模式的に示すブロック図
である。 【図２】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの算
出方法について説明するための図であり、（ａ）は時間
ｔにおける撮像画像を示す図、（ｂ）は時間ｔ＋Δｔに
おける撮像画像を示す図、（ｃ）は（ａ），（ｂ）の撮
像画像から得られるオプティカルフローを示す図であ
る。 【図３】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかる実際の自車両及び後続車
両の位置関係とオプティカルフローとの幾何学的な対応
関係を示す図である。 【図４】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値と車間距離との関係と、減速度関数による
危険度と車間距離との関係とを一つのグラフ上に表し、
それらの一致性を示す図である。 【図５】オプティカルフローの総数の実験値と理論値と
の対応関係を示す図である。 【図６】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置にかかるオプティカルフローの大
きさの平均値の実験値と理論値との対応関係を示す図で
ある。 【図７】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置の危険度判定処理の全体の流れを
説明するためのフローチャートである。 【図８】本発明の一実施形態としてのオプティカルフロ
ー式後方情報検出装置のオプティカルフローの大きさの
平均値の算出処理の流れを説明するためのフローチャー
トである。 【符号の説明】 ２ ＣＣＤカメラ（撮像手段） ３ Ａ／Ｄ変換器 ４Ａ 第１フレームメモリ ４Ｂ 第２フレームメモリ ５ オプティカルフロー算出手段（ＤＳＰ） ６ 演算手段 ６Ａ グループ化処理手段 ６Ｂ 判定対象選定手段 ７ 危険度判定手段 ８ 警報表示モニター ９ 台数表示手段 １０ ＥＣＵ １００Ａ，１００Ｂ 撮像画像 Ｐ_A1，Ｐ_A2，Ｐ_A3，Ｐ_A4，Ｐ_B1，Ｐ_B2，Ｐ_B3，Ｐ_B4 着
目画素 Ｓ_A1，Ｓ_A2，Ｓ_A3，Ｓ_A4，Ｓ_B1，Ｓ_B2，Ｓ_B3，Ｓ_B4 ウ
インドウ ｆ₁ ，ｆ₂ ，ｆ₃ ，ｆ₄ オプティカルフローBRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram schematically showing a configuration of an optical flow type backward information detecting device as one embodiment of the present invention. FIGS. 2A and 2B are diagrams for describing a method of calculating an optical flow according to the optical flow backward information detection device as one embodiment of the present invention, wherein FIG. 2A is a diagram illustrating a captured image at time t, and FIG. () Is a diagram showing a captured image at time t + Δt, and (c) is a diagram showing an optical flow obtained from the captured images of (a) and (b). FIG. 3 is a diagram showing the actual positional relationship between the host vehicle and the following vehicle and the geometric correspondence between the optical flow and the optical flow type rear information detecting apparatus according to the embodiment of the present invention; FIG. 4 is a diagram illustrating a relationship between an average value of an optical flow magnitude and an inter-vehicle distance according to an optical flow-type rear information detecting device according to an embodiment of the present invention, and a relationship between a risk degree and an inter-vehicle distance by a deceleration function. On a single graph,
It is a figure which shows those coincidences. FIG. 5 is a diagram illustrating a correspondence between an experimental value and a theoretical value of the total number of optical flows. FIG. 6 is a diagram showing the correspondence between the experimental value and the theoretical value of the average value of the optical flow magnitude according to the optical flow backward information detecting device as one embodiment of the present invention. FIG. 7 is a flowchart for explaining an overall flow of a risk determination process of the optical flow type backward information detection device as one embodiment of the present invention. FIG. 8 is a flowchart for explaining a flow of a process of calculating an average value of an optical flow size in the optical flow backward information detecting device as one embodiment of the present invention. [Description of Signs] 2 CCD camera (imaging means) 3 A / D converter 4A First frame memory 4B Second frame memory 5 Optical flow calculation means (DSP) 6 Calculation means 6A Grouping processing means 6B Judgment target selection means 7 Risk determination means 8 Alarm display monitor 9 Number display means 10 ECUs 100A, 100B Captured images P _A1 , P _A2 , P _A3 , P _A4 , P _B1 , P _B2 , P _B3 , P _B4 Pixels of _interest S _A1 , S _A2 , S _A3 , S _A4 , S _B1 , S _B2 , S _B3 , S _B4 Window f ₁ , f ₂ , f ₃ , f ₄ Optical flow

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) B60R 21/00 G06T 7/20 G08G 1/16 H04N 7/18 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int. Cl. ⁷ , DB name) B60R 21/00 G06T 7/20 G08G 1/16 H04N 7/18

Claims (1)

(57)【特許請求の範囲】 【請求項１】 自車両後方を所定周期で撮像する撮像手
段と、該撮像手段で得られた複数画像からオプティカル
フローを算出するオプティカルフロー算出手段とをそな
え、該オプティカルフロー算出手段で算出された該オプ
ティカルフローから該自車両に接近する複数の物体を検
出するオプティカルフロー式後方情報検出装置におい
て、 該オプティカルフローの大きさの分布に基づき該オプテ
ィカルフローをオプティカルフロー群にグループ化する
グループ化処理手段と、 該グループ化処理手段でグループ化された複数の該オプ
ティカルフロー群の中から危険度判定対象とするオプテ
ィカルフロー群を選定する判定対象選定手段と、 該判定対象選定手段で選定された該判定対象オプティカ
ルフロー群に属するオプティカルフローの大きさの平均
値を演算する演算手段と、 該演算手段で演算されたオプティカルフローの大きさの
平均値に基づき該判定対象オプティカルフロー群に該当
する物体の接近の危険度を判定する危険度判定手段とを
そなえたことを特徴とする、オプティカルフロー式後方
情報検出装置。(57) [Claim 1] An image pickup means for picking up an image of the rear side of the vehicle at a predetermined cycle, and an optical flow calculation means for calculating an optical flow from a plurality of images obtained by the image pickup means, An optical flow-type rear information detecting device for detecting a plurality of objects approaching the host vehicle from the optical flow calculated by the optical flow calculating means, wherein the optical flow is determined based on a size distribution of the optical flow. Grouping processing means for grouping into groups; determination target selection means for selecting an optical flow group to be a risk determination target from among the plurality of optical flow groups grouped by the grouping processing means; An optical belonging to the optical flow group to be determined selected by the target selecting means. Calculating means for calculating the average value of the magnitude of the flow, and the risk of determining the risk of approach of an object corresponding to the group of optical flows to be determined based on the average value of the magnitude of the optical flow calculated by the calculating means. An optical flow type rear information detecting device, comprising a degree determining means.