JPH0986314A

JPH0986314A - 車両用後側方監視装置

Info

Publication number: JPH0986314A
Application number: JP7249167A
Authority: JP
Inventors: Koji Ishii; 宏二石井
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1995-09-27
Filing date: 1995-09-27
Publication date: 1997-03-31
Anticipated expiration: 2015-09-27
Also published as: JP3485135B2

Abstract

(57)【要約】【課題】夜間やトンネル内の如く暗所を走行している
場合においても他車両を正確に認識できる車両用後側方
監視装置を提供する。【解決手段】自車両の後側方を撮像する撮像手段(11)
と、所定時間相前後する２画像中における同一点につい
て、当該点の無限遠点から発散する方向の移動をオプテ
ィカルフローとして検出するオプティカルフロー検出手
段(31a )とを有し、他車両と自車両との相対関係を監視
する車両用後側方監視装置において、前記自車両の走行
方向を検出する走行方向検出手段(21,23 )と、自車両の
走行距離を検出する走行距離検出手段(22)と、前記走行
方向検出手段(21,23 )からの走行方向情報及び前記走行
距離検出手段(22)からの走行距離情報に基づき自車両の
移動量を算出し、この移動量により前記無限遠点の位置
を変更する無限遠点変更手段(31b )とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車などの車両
に設置したビデオカメラによって車両の後方及び側方を
撮像し、当該撮像画像に基づき、車両走行時における後
方あるいは側方から接近する車両を検知し、運転者に警
告を与える車両後側方監視装置に関する。

【０００２】

【従来の技術】自車両が片側２車線以上の道路を走行
し、これから変更しようとする隣接車線に自車両よりも
高速で走行する他車両が存在した際、この他車両の存在
を見逃した場合には、事故につながる危険性がある。ま
た、自車両の後方を走行する他車両が自車両に急接近し
てきた場合、不用意な急ブレーキを行うと他車両に追突
される危険性があるので、この急接近する他車両を予め
認識しておくことは車両運行上の安全面から有用であ
る。

【０００３】従来、上述したような他車両すなわち隣接
車線を走行する車両あるいは同一車線を後続して走行す
る車両を運転者に認識させる従来例としては、本出願人
が特願平５−１９６１８９号にて出願した発明（以下、
先願発明という）がある。この先願発明は、後述するオ
プティカルフローに基づいて、他車両の認識を行うもの
である。以下、この先願発明について説明する。

【０００４】図１１は、この先願発明を実施する装置
（以下、先願装置という）の構成を示すブロック図であ
る。同図において、１０は撮像手段としての撮像部で、
例えばビデオカメラを有している。３０は演算処理装置
としてのデータ処理部である。５０は警報手段としての
警報部で、スピーカなどの警報装置により構成されてい
る。

【０００５】撮像部１０は、車両後方の所定位置例えば
トランクの上部位置に車両後方正面に向けて配設されて
いる。データ処理部３０は、動作プログラムに従って動
作する中央制御装置としてのＣＰＵ３１、このＣＰＵ３
１の動作プログラム及び予め与えられる設定値などを保
持するＲＯＭ３２、ＣＰＵ３１の演算実行時に必要なデ
ータを一時的に保持するＲＡＭ３３を有している。警報
部５０は、車両内部に配設され、必要に応じて音声や警
報音を発生することにより運転者などに危険を知らせ
る。

【０００６】図１２は、上述したように、自車両の後方
部に搭載された撮像部１０による撮像画像の変化を説明
する図であり、図１２（ａ）は時刻ｔにおける撮像画
像、図１２（ｂ）は時刻ｔ＋△ｔにおける撮像画像を示
している。そして、これらの各図において、２００は自
車両の後方を走行する後続車両、３００は道路５００に
隣接して配設された道路標識、４００は同じく道路５０
０に隣接して配設された建物である。

【０００７】今、自車両が平坦な道を直進しているとす
ると、時刻の経過すなわち自車両の走行に伴い、道路標
識３００や建物４００は自車両との相対距離が離れ小さ
く撮像される。図においては、図１２（ａ）すなわち時
刻ｔの撮像画像における道路標識３００及び建物４００
と、図１２（ｂ）すなわち時刻ｔ＋△ｔの撮像画像にお
ける道路標識３００及び建物４００に関し、図１２
（ｂ）の道路標識３００及び建物４００の方が小さく撮
像されている。以下、これらの図を参照して、この先願
発明において用いられるオプティカルフローについて説
明する。

【０００８】すなわち、撮像画像内に設定された複数の
対応点、例えば他車両２００における着目点２０１及び
２０２、道路標識３００における着目点３０１、３０２
及び３０３、建物４００における着目点４０１及び４０
２に関し、各時間毎の着目点すなわち時刻ｔ〔図１２
（ａ）〕における各着目点２０１ａ、２０２ａ、３０１
ａ、３０２ａ、３０３ａ、４０１ａ及び４０２ａと、時
刻ｔ＋△ｔ〔図１２（ｂ）〕における各着目点２０１
ｂ、２０２ｂ、３０１ｂ、３０２ｂ、３０３ｂ、４０１
ｂ及び４０２ｂについて、互いに対応する着目点同士を
結合することにより、図１２（ｃ）に示す速度ベクトル
すなわち２０１Ｆ、２０２Ｆ、３０１Ｆ、３０２Ｆ、３
０３Ｆ、４０１Ｆ及び４０２Ｆが得られる。この得られ
た速度ベクトルがオプティカルフローである。

【０００９】ここで、このオプティカルフローは、画面
内の無限遠点あるいは消失点として定義されるＦＯＥ(F
ocus of Expansion)から放射状に現れていることが判
る。このＦＯＥは、車両が直進している場合の画像上に
おいて、自車両の進行方向の正反対方向を示す１点に対
応する。そして、自車両の走行状態において、自車両か
ら遠ざかる物体のオプティカルフローは上記ＦＯＥに向
かう収束方向のベクトルとなり、自車両に近づいてくる
物体のオプティカルフローは上記ＦＯＥから離れる発散
方向のベクトルとなる。従って、同図に２０１Ｆ及び２
０２Ｆで示す後続の他車両２００のオプティカルフロー
は発散方向のベクトルであるので、この他車両は自車両
に近づいてきていること、換言すれば自車両よりも高速
で走行している車両であることが判る。

【００１０】また、このオプティカルフローの大きさに
関し、このオプティカルフローの大きさは、単位時間に
おける自車両と対象物体（他車両２００）との距離の差
すなわち速度差が大きい程大きくなり、自車両と対象物
体との相対距離が近い程大きくなる。このことを図面を
参照して説明する。

【００１１】図１３は、撮像部１０の光学的配置を示し
た図である。同図において、１１ａは撮像部１０のビデ
オカメラが有するレンズ、１１ｂは同じくビデオカメラ
が有するイメージプレーン、ｆはレンズ１１ａからイメ
ージプレーン１１ｂまでの距離、Ｐ（Ｘ_a，Ｙ_a，
Ｚ_a）は後続する他車両上の任意の１点、ｐ（ｘ_a，ｙ
_a）はイメージプレーン１１ｂ上における上記点Ｐに対
応する点である。

【００１２】この場合、３角形の相似の比から、次式
（１）の関係が得られる。ｘ_a＝ｆ・Ｘ_a／Ｚ_a ・・・（１）この式（１）を変形して時間微分すると、次式（２）が
得られる。Ｘ_a’＝（Δｘ_a／Δｔ・Ｚ_a＋ｘ_a・Ｚ_a’）／ｆ・・・（２）また、オプティカルフローのｘ方向成分ｕは、次式
（３）で表せる。ｕ＝Δｘ_a／Δｔ・・・（３）従って、この式（３）により次式（４）を得ることがで
きる。Ｚ_a＝（ｆ・Ｘ_a’−ｘ_a・Ｚ_a’）／ｕ・・・（４）

【００１３】ここで、上記式（４）のＺ_a’は、同一車
線あるいは隣接車線を走行する他車両（図１２に符号２
００で示す）と撮像部１０が搭載された自車両との速度
差すなわち相対速度を示している。この相対速度を−α
とすると上記式（４）は次式（５）となる。Ｚ_a＝（ｆ・Ｘ_a’＋ｘ_aα）／ｕ・・・（５）よって、オプティカルフローのｘ方向成分ｕは、次式
（６）のように表すことができる。ｕ＝（ｆ・Ｘ_a’＋ｘ_aα）／Ｚ_a ・・・（６）なお、点ＰのＹ座標Ｙ_aについても同様にして求めるこ
とができる。

【００１４】よって上式（６）より、Ｚが小すなわち後
続車両又は隣接車線を走行中の他車両２００までの距離
が小である程、あるいは、αが大すなわち他車両２００
との速度差が大である程、オプティカルフローのｘ成分
は大きくなる。これはＹ方向についても同様である。従
って、オプティカルフローは後続する他車両２００との
距離が小な程、更に互いの速度差が大な程長くなり、こ
れよりオプティカルフローの方向がＦＯＥに対して発散
し、その長さが短いときより長いときの方が相対的に後
続車両又は隣接車両に対する危険度が大きことが判る。

【００１５】従って、データ処理部２０は、このオプテ
ィカルフローが上述した発散方向のベクトルであり且つ
その大きさが大きい場合には、対象物体は自車両に対
し、接近した位置に存在するか、自車両よりも高速で接
近しているかの少なくとも一方の状態にあると考えら
れ、危険度が高いと判断する。そして、危険度が高いと
判断した場合には、警報部４０により運転者にその旨を
知らせる。

【００１６】

【発明が解決しようとする課題】このような先願発明で
は、オプティカルフローの大きさに基づき認識を行うよ
う構成されているので、後方や隣接車線を走行している
他車両に関し、その相対距離、相対速度及び危険度を自
動的に判断でき、且つ、特別な距離計を必要としない利
点があり有効である。ところで、この先願発明の装置で
は、基準点としてのＦＯＥから発散する方向のオプティ
カルフローを取得し、この取得したオプティカルフロー
に基づき他車両との相対距離及び相対速度を取得してい
る。従って、このＦＯＥが本来の位置と異なる位置に設
定された場合には、取得したオプティカルフローも本来
のものとは異なるものとなり、他車両を正確に認識する
ことができなくなる。

【００１７】上述したＦＯＥは、自車両が左右（横）方
向に転蛇状態で走行した場合や起伏のある路面を上下
（縦）方向に移動して走行した場合に、その縦横の移動
方向及びその走行距離に応じて移動する。そして、この
ＦＯＥが移動した場合には、他車両を正確に認識するた
め、この移動に応じてＦＯＥを再設定する必要がある。
日中においては、図１４（ａ）に示すように、その画像
上における対応点、例えば画面中央付近における所定点
について、その移動量あるいは道路上に描かれた白線な
どから時間ｔと時間ｔ＋△ｔ間における所定点の移動量
を算出すれば、この所定点の移動量に基づいてＦＯＥの
移動量が算出できる。そして、図１４（ｂ）に示すよう
に、この算出した移動量に基づいてＦＯＥを移動させる
ことにより、他車両２００を正確に認識することができ
る。

【００１８】ところで、上述した方法は、日中のように
背景画像まで撮像されている場合には有効であるが、夜
間やトンネル内の如く暗所を走行している場合には、白
線や背景画像を撮像することが難しく前記所定点を設定
ことができない。従って、このような暗所の走行時にお
いては、運転者が自ら他車両を認識する必要がある。本
発明は、このような事情に鑑みてなされたものであり、
夜間やトンネル内の如く暗所を走行している場合におい
ても他車両を正確に認識できる車両用後側方監視装置を
提供することを課題とする。

【００１９】

【課題を解決するための手段】前記課題を解決するため
本発明によりなされた車両用後側方監視装置は、図１の
基本構成図に示すように、自車両の所定位置に配設され
自車両の後側方を撮像する撮像手段（１１）と、所定時
間相前後する２画像中における同一点について、当該点
の無限遠点から発散する方向の移動をオプティカルフロ
ーとして検出するオプティカルフロー検出手段（３１
ａ）とを有し、自車両に対する後方又は隣接車線を走行
中の他車両のオプティカルフローに関し、そのベクトル
の大きさに基づいて、前記他車両と自車両との相対関係
を監視する車両用後側方監視装置において、前記自車両
の走行方向を検出する走行方向検出手段（２１、２３）
と、自車両の走行距離を検出する走行距離検出手段（２
２）と、前記走行方向検出手段２０からの走行方向情報
及び前記走行距離検出手段（２２）からの走行距離情報
に基づき自車両の移動量を算出し、この移動量により前
記無限遠点の位置を変更する無限遠点変更手段（３１
ｂ）とを有することを特徴としている。

【００２０】また、前記走行方向検出手段（２１、２
３）は、前記自車両の左右方向の移動方向を検出する第
１移動方向検出手段（２１）と、前記自車両の上下方向
の移動方向を検出する第２移動方向検出手段（２３）と
を有することを特徴としている。

【００２１】また、前記第１移動方向検出手段（２１）
は、前記自車両が有する操舵輪の操舵角を検出する操舵
角検出手段であることを特徴としている。

【００２２】また、前記第１移動方向検出手段（２１）
は、前記自車両の左右方向の移動により発生した角速度
を検出する第１角速度検出手段であることを特徴として
いる。

【００２３】また、前記第２移動方向検出手段（２３）
は、前記自車両の上下方向の移動により発生した角速度
を検出する第２角速度検出手段であることを特徴として
いる。

【００２４】上記構成において、走行方向検出手段（２
１、２３）は自車両の走行方向すなわち自車両の上下左
右方向についての走行方向を検出し、走行距離検出手段
（２２）は自車両の走行距離を検出する。そして、無限
遠点変更手段（３１ｂ）は、走行方向検出手段（２１、
２３）からの走行方向情報と走行距離検出手段（２２）
からの走行距離情報に基づき自車両の移動量を算出し、
この算出した自車両の移動量に応じて無限遠点の位置を
変更する。

【００２５】すなわち、自車両の移動量を検出する手段
と、この検出した移動量に基づいて他車両を認識する際
の基準点となる無限遠点の位置を再設定する手段とを設
けたので、起伏やカーブした路面を走行することによ
り、無限遠点が移動したとしても他車両を正確に認識す
ることができる。

【００２６】また、第１移動方向検出手段（２１）は自
車両の左右方向についての移動方向を検出し、第２移動
方向検出手段（２３）は自車両の上下方向についての移
動方向を検出する。さらに、前記第１移動方向検出手段
（２１）は操舵輪の操舵角を検出する操舵角検出手段あ
るいは自車両の左右方向の移動により生じた角速度を検
出する第１角速度検出手段として構成され、前記第２移
動方向検出手段（２３）は自車両の上下方向の移動によ
り生じた角速度を検出する第２角速度検出手段として構
成されている。

【００２７】すなわち、自車両の移動方向を、左右側の
移動方向を検出する左右側移動方向検出手段及び上下側
の移動方向を検出する上下側移動方向検出手段からの出
力により検出し、左右側移動方向検出手段を車両の操舵
角を検出する操舵角検出手段あるいは車両の左右方向の
移動により生じた角速度を検出する角速度検出手段から
構成し、上下側移動方向検出手段を車両の上下方向の移
動により生じた角速度を検出する角速度検出手段から構
成しているので、車両の移動方向を容易に検出すること
ができる。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態の具体
例を図面とともに説明する。図２は、具体例の装置構成
を示すブロック図で、同図において、１０は撮像部、２
０は自車両の走行方向や走行距離などを検出する検出
部、３０は撮像部１０からの画像情報に基づき画像処理
及び他車両との相対関係監視処理などを実行するデータ
処理部、４０は撮像部１０からの画像データなどを保持
する記憶部、５０は警報部である。

【００２９】撮像部１０は、撮像手段としてのビデオカ
メラ１１を有している。そして、このビデオカメラ１１
は、図１３にて説明したように、レンズ（図１３にて符
号１１ａにて示す）とイメージプレーン（同１１ｂ）と
を有している。検出部２０は、ハンドル舵角センサ２
１、速度センサ２２及び縦方向角速度センサ２３を有し
ている。そして、これら各部すなわち、撮像部１０のビ
デオカメラ１１、検出部２０のハンドル舵角センサ２
１、速度センサ２２及び縦方向角速度センサ２３は、図
３に示すように、車両１００に取り付けられている。

【００３０】すなわち、ビデオカメラ１１は、車両１０
０の後部に設けられたトランク部１１０上に車両１００
の後方に向けて取り付けられ、その後方画像を撮像する
よう構成されている。そしてこの撮像画像を画像情報Ｓ
Ｇ１として出力する。ハンドル舵角センサ２１は、車両
１００の操舵手段として構成されたハンドル機構１２０
に付設され、その操作量すなわち操作角度を前輪１３０
の操舵角として検出し、この検出した操作量を舵角情報
ＳＧ２として出力する。

【００３１】速度センサ２２は、前輪１３０あるいは図
示しないドライブシャフトについて、その単位時間にお
ける回転数を検出する回転センサとして構成され、検出
した回転数情報を速度情報ＳＧ３として出力するよう構
成されている。この速度センサ２２は、例えば、上記ド
ライブシャフトの周面に配設された磁石と、この磁石に
対峙して配設されたホール素子とから構成され、ドライ
ブシャフトの回転に応じてパルス信号を速度情報ＳＧ３
として送出するよう構成されている。

【００３２】縦方向角速度センサ２３は車両１００の適
宜位置、例えば図３に示す車両１００の前方側のボンネ
ット１４０内に配設され、車両１００の縦方向の移動に
より生じた角速度を検出し、検出した角速度に応じた電
圧信号を車両の上下側移動方向すなわち登降角情報ＳＧ
４として出力する。

【００３３】そして、この縦方向角速度センサ２３は、
例えば図４に示す音叉型の構成を有するセンサ機構とし
て構成されている。すなわち、同図において、２３ａは
検知用圧電体、２３ｂは駆動用圧電体、２３ｃは結合
体、２３ｄは駆動部、２３ｅは駆動検出部、２３ｆはオ
ートゲインコントローラ（ＡＧＣ）、２３ｇは差動アン
プ、２３ｈは位相検波／波形整形部である。

【００３４】このような構成を有する縦方向角速度セン
サ２３では、検知用圧電体２３ａと駆動用圧電体２３ｂ
はそれぞれ一対の板状体として構成され、結合体２３ｃ
により直交結合されている。駆動用圧電体２３ｂは駆動
部２３ｄからの駆動信号により自励発振して音叉振動す
る。駆動検出部２３ｅは駆動用圧電体２３ｂの音叉振動
を検出し、ＡＧＣ２３ｆは検出された音叉振動に応じて
駆動部２３ｄから送出する駆動信号の強度を制御する。
検知用圧電素子２３ａは駆動用圧電体２３ｂからの音叉
振動により自らも音叉振動する。

【００３５】そして、この縦方向角速度センサ２３で
は、上記検知用圧電体２３ａの延長方向を軸とした方向
（車両１００に対する上下方向）の角速度が加わると、
この検知用圧電体２３ａの板状体間にはコリオリの力が
発生する。このコリオリの力により両板状体間に生じた
電荷を差動アンプ２３ｇにより取り出し、位相検波／波
形整形部２３ｈにて波形整形処理することにより縦方向
の角速度すなわち車両１００の登降角情報ＳＧ４を検出
する。

【００３６】以上の説明から明らかなように、上記ハン
ドル舵角センサ２１が本発明の基本構成における第１移
動方向検出手段に対応し、速度センサ２２が同じく走行
距離検出手段に対応し、縦方向角速度センサ２３が同じ
く第２移動方向検出手段に対応している。また、上述し
たように、第１移動方向検出手段をハンドル舵角センサ
２１に代えて縦方向角速度センサ２３と同様な横方向角
速度センサとしてもよい。

【００３７】データ処理部３０は、上述した先願装置と
同様な構成を有している。すなわち、図２に示すよう
に、動作プログラムに従って動作する中央制御装置とし
てのＣＰＵ３１、このＣＰＵ３１の動作プログラム及び
予め与えられる設定値などを保持するＲＯＭ３２及びＣ
ＰＵ３１の演算実行時に必要なデータを一時的に保持す
るＲＡＭ３３を有している。

【００３８】そしてＲＡＭ３３は、図５（ａ）に示すよ
うに、その一部領域が、車両１００の走行距離を保持す
る走行距離保持領域３３ａ、車両１００の左右方向の移
動量を横方向移動量として保持する横方向移動距離保持
領域３３ｂ、車両１００の上下方向の移動量を縦方向移
動量として保持する縦方向移動距離保持領域３３ｃ、所
定期間における積算走行距離を保持する積算走行距離保
持領域３３ｄ、所定期間における積算横方向移動距離を
保持する積算横方向移動距離保持領域３３ｅ、所定期間
における積算縦方向移動距離を保持する積算縦方向移動
距離保持領域３３ｆ、上記積算走行距離、積算横方向移
動距離及び積算縦方向移動距離を算出する際に積算カウ
ンタとして機能する積算情報算出カウンタ領域３３ｇ、
車両１００の走行速度を保持する走行速度保持領域３３
ｈ、ハンドル機構１２０のハンドル操作量を保持するハ
ンドル舵角保持領域３３ｉ、車両１００の縦方向の進行
方向すなわち登降角を保持する登降角保持領域３３ｊ、
撮像部１０による画像取込動作の周期を保持する画像取
込周期保持領域３３ｋ及び後述する積算走行距離算出時
の基準値としての規定走行距離を保持する規定走行距離
保持領域３３ｍから構成されている。

【００３９】なお、上記画像取込周期保持領域３３ｋに
保持された画像取込周期は予め設定された所定値であ
り、例えば５／３０秒に設定されている。また上記規定
走行距離保持領域３３ｍに保持された規定走行距離は例
えば２００ｍに設定される。

【００４０】そして、ＲＡＭ３３を構成するこれらの領
域の内、走行距離保持領域３３ａ、横方向移動距離保持
領域３３ｂ及び縦方向移動距離保持領域３３ｃは、図５
（ｂ）に示すように、複数の小領域Ｓ０（下位側）〜Ｓ
２５５（上位側）を有するシフトレジスタ態様の領域Ｓ
として構成され、各小領域Ｓ０〜Ｓ２５５には、画像取
込周期毎の走行距離情報、縦方向移動量あるいは横方向
移動量が時系列順に保持される。

【００４１】例えば、小領域Ｓ０には最新の動作周期お
ける走行距離情報、縦方向移動量あるいは横方向移動量
が格納保持され、小領域Ｓ１には一時点前の画像取込周
期における上記各情報が格納保持され、小領域Ｓ２には
二時点前の画像取込周期における上記各情報が格納保持
される。そして、以降の各小領域にはそれぞれ下位側
（右側）に隣接する小領域より一時点前の動作周期にお
ける上記各情報が順次格納保持される。従って、この構
成においては最新の情報が算出される度に過去の情報は
上位側（左側）に順次シフトする。

【００４２】記憶部４０は、図２に示すように、前記撮
像部１０からの画像データを保持する第１フレームメモ
リ４１及び第２フレームメモリ４２と、発散方向のオプ
ティカルフローを保持する発散オプティカルフローメモ
リ４３とを有し、これらの各メモリはデータ処理部３０
のＣＰＵ３１に付設されている。警報部５０は、データ
処理部３０からの音声信号により音声ガイダンスあるい
は警報音を発生するスピーカ５１を有している。このス
ピーカ５１は、車両内部に配設され、必要に応じて運転
者などに指示あるいは警報を与える。

【００４３】なお、上述した構成においては、車両の横
方向の移動をハンドル舵角により間接的に検出する構成
となっていたが、これを図４にて説明した縦方向角速度
センサの取り付け方向を換えた横方向角速度センサによ
り車両の移動を直接的に検出する構成としてもよい。こ
の場合、雪道などの滑り易い路面のようにハンドル舵角
と車両の移動方向が一致しない場合にも正確な検出を行
うことができる。

【００４４】このように構成された具体例装置は、図６
及び図７のフローチャートに従って動作する。以下、こ
の図６及び図７のフローチャートに基づき、この装置の
動作について説明する。

【００４５】この装置においては、まず図６のフローチ
ャートにおけるステップＳ１００にて、画像取り込み処
理すなわちビデオカメラ１１からの画像情報ＳＧ１を取
得する処理を行う。このステップＳ１００における画像
取り込み処理は、最初の処理を行う際に時刻ｔの撮像画
像として使用する初期画像を取得する処理である。

【００４６】すなわち、この装置は、所定時間相前後す
る２画像中の同一点の移動情報に基づき処理を行うもの
であるので、このステップＳ１００にて、最初の処理を
行う際に使用する初期画像を取得する。そして、取得し
た初期画像については、記憶部４０の第１フレームメモ
リ４１に格納する。このステップＳ１００の初期画像取
得処理が終了すると、ステップＳ１１０に移行する。

【００４７】ステップＳ１１０では、画像取込時間が経
過したか否か、より詳細にはＲＡＭ３３の画像取込周期
保持領域３３ｋに保持された画像取込周期を取得し、前
撮像時間からこの撮像周期に相当する時間すなわち画像
取込時間が経過したかを判定する。そして、このステッ
プＳ１１０で画像取込時間が経過した場合（Ｙ）には引
き続くステップＳ１２０に移行し、まだ画像取込時間が
経過していないと判断した場合には、再度このステップ
Ｓ１１０を繰り返し実行する。すなわち、このステップ
Ｓ１１０では、前画像取得時間からの経過時間に基づ
き、この経過時間が画像周期により規定される時間（画
像取込周期保持領域３３ｋに保持された画像取込周期）
を経過した場合に次動作に移行するタイマ動作を実行し
ている。

【００４８】そしてステップＳ１２０では、画像取り込
み処理を行う。このステップＳ１２０の画像取得処理
は、上記ステップＳ１００の画像取得処理と同様な処理
によりなされる。従ってステップＳ１２０では、ＣＰＵ
３１は、当該時間におけるビデオカメラ１１からの画像
情報ＳＧ１を取り込み、この画像情報ＳＧ１を記憶部４
０の第１フレームメモリ４１と第２フレームメモリ４２
のいずれかのメモリに格納する。なお、このステップＳ
１２０で格納対象となるメモリに関し、第１フレームメ
モリ４１と第２フレームメモリ４２の選択は、各メモリ
に既に保持されている画像情報の撮像時間に基づいてな
され、古い画像情報が格納された側のメモリに対して取
り込んだ画像情報を上書きする。また、装置の動作直後
において、メモリの一方側にしか画像情報が格納されて
いない場合には、他方側すなわち空のメモリに対し、取
り込んだ画像情報を格納する。

【００４９】引き続くステップＳ１２１では、速度情報
の所得処理が行われる。このステップＳ１２１では、上
記速度センサ２２から出力される速度情報ＳＧ３すなわ
ちパルス信号の単位時間当たりの送出数に基づき、自車
両の走行速度情報を取得するとともにこの取得した走行
速度情報をＲＡＭ３３の走行速度保持領域３３ｄに格納
する。このステップＳ１２１の処理終了後ステップＳ１
２２に移行する。

【００５０】ステップＳ１２２では、舵角情報の取得処
理が行われる。このステップＳ１２２では、ハンドル舵
角センサ２１からのハンドル機構に対する操作量として
与えられたハンドル舵角情報ＳＧ３を取得し、このハン
ドル舵角情報ＳＧ３をＲＡＭ３３のハンドル舵角保持領
域３３ｉに格納し、そしてステップＳ１２３に移行す
る。

【００５１】ステップＳ１２３では、車両の登降角情報
の取得動作がなされる。このステップＳ１２３では、縦
方向角速度センサ２３からの登降角情報ＳＧ４を取得
し、この登降角情報ＳＧ４をＲＡＭ３３の登降角保持領
域３３ｊに格納し、ステップＳ１３０に移行する。

【００５２】ステップＳ１３０では区間走行距離の算出
処理を行う。すなわち、このステップＳ１３０では、上
記ステップＳ１２１で取得した速度情報と画像取込周期
とを乗算することにより当該時間において車両が移動し
た区間走行距離すなわち一周期前の時間ｔと、この動作
周期の時間ｔ＋△ｔ間に車両が走行した距離を算出す
る。そして、この算出した区間走行距離をＲＡＭ３３の
走行距離保持領域３３ａ、より詳細には、この算出した
区間走行距離情報を、図５（ｂ）にて説明した走行距離
保持領域３３ａの小領域Ｓ０に格納し、ステップＳ１３
１に移行する。

【００５３】ステップＳ１３１では、区間横方向移動距
離の算出処理を行う。このステップＳ１３１の算出処理
は、上記ステップＳ１３０の処理と同様にしてなされ、
上記ステップＳ１２２で取得したハンドル舵角情報と画
像取込周期とに基づき、車両の区間横方向移動距離を算
出し、この算出した区間横方向移動距離を横方向移動距
離保持領域３３ｂの小領域Ｓ０に格納する。そしてステ
ップＳ１３２に移行する。

【００５４】ステップＳ１３２では、区間縦方向移動距
離の算出処理を行う。このステップＳ１３２の算出処理
もまた、上記ステップＳ１３０の処理と同様にしてなさ
れ、上記ステップＳ１２３で取得した登降角情報と画像
取込周期とに基づき、車両の区間縦方向移動距離を算出
し、この算出した区間縦方向移動距離を縦方向移動距離
保持領域３３ｃの小領域Ｓ０に格納する。そして、この
ステップＳ１３２処理終了後、図７のフローチャートに
おけるステップＳ２１０に移行する。

【００５５】ステップＳ２１０では、積算走行距離の算
出処理すなわちＲＡＭ３３の走行距離保持領域３３ａに
保持された区間走行距離についての積算処理を行う。よ
り詳細には、このステップＳ２１０では、積算情報算出
カウンタ領域（積算カウンタ）３３ｇの保持値（カウン
ト値）を参照し、このカウント値に基づき、小領域Ｓ０
から小領域Ｓ１〜Ｓ２５５までの区間走行距離の積算を
行うとともにこの積算した区間走行距離を積算走行距離
保持領域３３ｄに格納する。

【００５６】例えば、積算カウンタ３３ｇのカウント値
が「０」であった場合には初回の積算動作と判断し、最
新の区間走行距離情報である小領域Ｓ０と一時点前の区
間走行距離情報である小領域Ｓ１の保持値を加算し、カ
ウント値が「１」であった場合には２回目の積算動作と
判断して先に算出された小領域Ｓ０と小領域Ｓ１の加算
値に二時点前の小領域Ｓ２の区間走行距離情報を加算す
る。このように、このステップＳ２１０では、積算カウ
ンタ３３ｇのカウント値に基づいた区間走行距離につい
ての積算処理を行う。

【００５７】ステップＳ２１１では、積算横方向移動距
離の算出を行う。この積算横方向移動距離の算出処理
は、上記ステップＳ２１０の積算走行距離の算出処理と
同様にしてなされ、横方向移動距離保持領域３３ｂ中の
所定の小領域に保持された区間横方向移動距離情報につ
いて、積算カウンタ３３ｇのカウント値に基づき積算処
理を行う。そしてこの算出した積算横方向移動距離につ
いては、積算横方向移動距離保持領域３３ｅに格納す
る。

【００５８】引き続くステップＳ２１２では、積算縦方
向移動距離の算出を行う。この積算縦方向移動距離の算
出処理もまた、上記ステップＳ２１０と同様にしてなさ
れ、縦方向移動距離保持領域３３ｃ中の所定の小領域に
保持された区間縦方向移動距離情報について、積算カウ
ンタ３３ｇのカウント値に基づき積算を行い、この積算
値を積算縦方向移動距離とするとともに縦方向移動距離
保持領域３３ｆに格納する。そして、このステップＳ２
１２の処理終了後ステップＳ２２０に移行する。

【００５９】ステップＳ２２０では、積算走行距離が所
定走行距離に達したか否かを判定する。すなわち、この
ステップＳ２２０では、ＲＡＭ３３の規定走行距離保持
領域３３ｍに予め保持された規定走行距離情報を参照
し、上記ステップＳ２１０にて算出し積算走行距離保持
領域３３ｄに格納された積算走行距離がこの規定走行距
離に達しているか否かを判定する。そして、積算走行距
離が規定走行距離に達していた場合はステップＳ２３０
に移行し、積算走行距離が規定走行距離に達していなか
った場合はステップＳ２２１に移行する。

【００６０】ステップＳ２２１では、未積算の区間走行
距離情報の有無について判定する。すなわち、このステ
ップＳ２２１では、過去の動作周期において取得した区
間走行距離情報について、未積算分の情報の有無を積算
カウンタ３３ｇのカウント値に基づいて判定する。そし
て、未積算の情報が存在する場合にはステップＳ２２２
に移行し、未積算の情報が無い場合（この具体例におい
てはカウント値が「２４４」となった場合）には、ステ
ップＳ２４０に移行する。この場合、ステップＳ２２２
では、積算カウンタ３３ｇのカウント値をカウントアッ
プ（＋１）する。そしてステップＳ２１０に移行して、
積算する小領域を１領域増加させた状態として、再度ス
テップＳ２１０〜Ｓ２２０の処理を実行する。

【００６１】ステップＳ２３０では、ＦＯＥ移動量の算
出を行う。このＦＯＥ移動量算出処理は、上記ステップ
Ｓ２１０〜Ｓ２１２にて取得した積算横方向移動距離及
び積算縦方向移動距離に基づいてなされる。すなわち、
このステップＳ２３０では、積算走行距離が規定走行距
離以上になった時点（ステップＳ２２０）の積算横方向
移動距離保持領域３３ｅに保持された積算横方向移動距
離及び積算縦方向移動距離保持領域３３ｆに保持された
積算縦方向移動距離を取得し、これらの距離情報を利用
して、図１３にて説明した撮像部１０に関する光学的配
置に基づく演算処理を実行し、車両の縦横方向の移動距
離からイメージプレーン（図１３において符号１１ｂに
て示す）上における移動量を算出する。そして、ステッ
プＳ２３１に移行し、上記ステップＳ２３０にて算出し
たイメージプレーン１１ｂ上での移動量に基づいて、Ｆ
ＯＥの位置を再設定する。

【００６２】そして、引き続くステップＳ２４０では、
発散方向のオプティカルフローを算出する。このオプテ
ィカルフロー算出動作について説明する。このオプティ
カルフロー算出動作では、まず、上記ステップＳ２３１
にて再設定したＦＯＥを基点として、時間ｔの撮像画像
について着目する一点に対しこのＦＯＥから放射状の方
向に窓を設定する。そして時間ｔ＋△ｔの画像につい
て、この窓を時刻ｔの撮像画像にて設定された位置より
ＦＯＥから放射状の方向に一点づつ移動させ、この窓の
移動毎に時間ｔでの窓との輝度差の絶対値の総和を求め
る。そして、総和が最小になった際の窓Ｗの移動量を着
目する一点の速度ベクトルすなわち発散方向のオプティ
カルフローとして取得する。

【００６３】そして、このような時間ｔの画像の全ての
点において繰り返し行うことにより、画像全体における
発散方向のオプティカルフローを取得する。そして、こ
の取得したオプティカルフローについては、記憶部４０
の発散オプティカルフローメモリ４３に格納する。ま
た、このステップＳ２４０の処理に関し、窓内の画素を
走査して、着目する点を抽出し、抽出された点を結んで
オプティカルフローを求めるようにしても良い。なお、
上記ステップＳ２２１にて未積算の区間走行距離情報が
ないと判定されステップＳ２４０に移行した場合には、
このステップＳ２４０のオプティカルフロー算出動作
は、前動作周期におけるＦＯＥによりなされる。このス
テップＳ２４０の処理終了後ステップＳ２５０に移行す
る。

【００６４】ステップＳ２５０では、危険度の算出処理
を行う。すなわち、このステップＳ２５０では、上記ス
テップＳ２４０にて取得した発散方向のオプティカルフ
ローに対し、その大きさ（長さ）に重み付けをし、重み
付けをした値が或るしきい値を越えたら危険と判断す
る。また、しきい値を数レベル設定しておき、危険度の
レベルを判断することもできる。

【００６５】この危険度算出処理は、上述したように、
このオプティカルフローは、オプティカルフローの方向
がＦＯＥに向う方向ならば後続する他車両の速度が自車
両の速度より遅く、自車両から離れていくことを意味
し、反対にオプティカルフローの方向がＦＯＥに対して
発散する方向ならば自車両に接近してきていることを意
味すること、及び、このオプティカルフローの大きさが
大きいほど自車両に接近した位置に存在するかあるいは
自車両との速度差が大きいことを意味することに基づき
なされている。そして、このステップＳ２５０の処理が
終了すると、ステップＳ２５１に移行する。

【００６６】ステップＳ２５１では、危険度判定を行
う。すなわち、このステップＳ２５１では、上記ステッ
プＳ２５０にて算出した危険度すなわち認識した他車両
についての危険度に基づき、危険度が高い場合には危険
（Ｙ）と判定してステップＳ２５２に移行する。そし
て、このステップＳ２５２においては、データ処理部３
０のＣＰＵ３１は、警報部５０のスピーカ５１に音声信
号を送出し、このスピーカ５１から音声ガイダンスある
いは警報音を発生させることにより運転者に対して注意
を促す。また、ＣＰＵ３１は、隣接車線を後続して走行
している他車両のオプティカルフローの危険度が高く、
この他車両に対して警報を行う場合には、運転者が車線
変更を行うためウインカをオンにしたときに音声信号を
送出し、警報音などを発生させる。

【００６７】そして、このステップＳ２５１の処理実行
後、あるいは上記ステップＳ２５１で危険でない（Ｎ）
と判定した場合には、ステップＳ１１０に移行して次の
画像取込周期の動作を実行する。

【００６８】次に、図８〜図１０の模式図を参照して、
この具体例の実際の動作について説明する。そして、こ
の説明においては、車両１００の進行方向をＸ方向、旋
回方向すなわち横移動方向をＹ方向、上下方向すなわち
縦移動方向をＺ方向とし、自車両１００が右方向にカー
ブした緩い下り坂を走行しているものとする。この場合
車両１００は、図８のＸＹ平面図及び図９のＸＺ平面図
において実線（Ｐ１〜Ｐ７）の軌跡で進行する。

【００６９】そして、所定の動作周期毎すなわち撮像地
点Ｐ１〜Ｐ７毎にビデオカメラ１１による画像取込動作
を実行し（ステップＳ１１０及びＳ１２０）、撮像地点
Ｐ１〜Ｐ７において車両１００の速度情報、ハンドル舵
角情報及び登降角情報を取得する（ステップＳ１２１〜
Ｓ１２３）。

【００７０】この取得した速度情報、ハンドル舵角情報
及び登降角情報に基づき、動作周期毎に、区間走行距離
すなわち同図におけるｘ１〜ｘ６を算出するとともにこ
の算出した区間走行距離をＲＡＭ３３の走行距離保持領
域３３ａに順次格納し（ステップＳ１３０）、横方向移
動距離すなわち同図におけるｙ１〜ｙ４を算出するとと
もにＲＡＭ３３の横方向移動距離保持領域３３ｂに順次
格納し（ステップＳ１３１）、さらに縦方向移動距離す
なわち同図におけるｚ１〜ｚ４を算出するとともにＲＡ
Ｍ３３の縦方向移動距離保持領域３３ｃに順次格納する
（ステップＳ１３２）。

【００７１】次に、取得した区間走行距離に基づき積算
走行距離を算出する。すなわち、自車両１００が位置Ｐ
７まで走行した場合、まず位置Ｐ６Ｐ７間の距離ｘ６と
Ｐ５Ｐ６間の距離ｘ５とを加算し（ステップＳ２１
０）、この加算距離が所定走行距離以上となったかを判
定する（ステップＳ２２０）。そして、この加算距離が
所定距離に達しない場合には、距離ｘ６と距離ｘ５との
加算距離に位置Ｐ５Ｐ４間の距離ｘ４を積算する（ステ
ップＳ２１０）。そして再度この積算距離が所定走行距
離以上となったかを判定する（ステップＳ２２０）。な
お、上記積算距離を算出する際、同時に積算横方向移動
距離及び積算縦方向移動距離も同様な処理に基づき算出
する（ステップＳ２１１及びＳ２１２）。

【００７２】この一連の処理を積算距離が所定走行距離
以上となるまで繰り返し実行し、所定走行距離以上とな
った時点でＦＯＥの移動量を算出する（ステップＳ２３
０）。このＦＯＥの移動量処理に移行するにあたり、区
間走行距離ｘ１〜ｘ６を積算した積算走行距離Ｘ１が所
定走行距離以上となったとすると、積算横方向移動距離
はｙ１〜ｙ４を積算したＹ１となり、積算縦方向移動距
離はｚ１〜ｚ４を積算したＺ１となる。そして、これら
の積算走行距離Ｘ１、積算横方向移動距離Ｙ１及び積算
縦方向移動距離Ｚ１を用いてＦＯＥの移動量を算出す
る。

【００７３】次に、図１０に点線矢印で示すように、こ
の算出したＦＯＥ移動量に基づきＦＯＥの位置を再設定
し（ステップＳ２３１）、この再設定したＦＯＥにより
発散方向のオプティカルフローの取得処理（ステップＳ
２４０）、認識した他車両との危険度算出及び危険度判
定（ステップＳ２５０及びＳ２５１）、危険と判定され
た場合の警報出力（ステップＳ２５２）を実行する。

【００７４】以上説明から明らかなように、本発明の基
本構成と具体例のフローチャートとは次の対応関係を有
している。すなわち、基本構成のオプティカルフロー検
出手段３１ａは図６のフローチャートにおけるステップ
Ｓ１００〜Ｓ１２０及び図７のフローチャートにおける
ステップＳ２４０に対応し、無限遠点変更手段３１ｂは
図６のフローチャートにおけるステップＳ１２１〜Ｓ１
３２及び図７のフローチャートにおけるステップＳ２１
０〜Ｓ２３１に対応している。

【００７５】

【発明の効果】以上説明したように、本発明の車両用後
側方監視装置によれば、次の効果を奏する。すなわち、
自車両の移動量を検出する手段と、この検出した移動量
に基づいて他車両を認識する際の基準点となる無限遠点
の位置を再設定する手段とを設けたので、起伏やカーブ
した路面を走行することにより、無限遠点が移動したと
しても他車両を正確に認識することができる。

【００７６】また、自車両の移動方向を、左右側の移動
方向を検出する左右側移動方向検出手段及び上下側の移
動方向を検出する上下側移動方向検出手段からの出力に
より検出し、左右側移動方向検出手段を車両の操舵角を
検出する操舵角検出手段あるいは車両の左右方向の移動
により生じた角速度を検出する角速度検出手段から構成
し、上下側移動方向検出手段を車両の上下方向の移動に
より生じた角速度を検出する角速度検出手段から構成し
ているので、車両の移動方向を容易に検出することがで
きる。

【図面の簡単な説明】

【図１】本発明の基本構成図を説明する図である。

【図２】具体例の構成を説明するブロック図である。

【図３】具体例における撮像部及び検出部の配置を説明
する図である。

【図４】具体例における縦方向角速度センサ（横方向角
速度センサ）の構造を示す説明図である。

【図５】具体例におけるＲＡＭ３３の構成を説明する図
である。

【図６】具体例の動作を説明するフローチャートであ
る。

【図７】具体例の動作を説明するフローチャートであ
る。

【図８】具体例の動作を説明する模式図である。

【図９】具体例の動作を説明する模式図である。

【図１０】ＦＯＥの移動を説明する図である。

【図１１】先願装置の構成を示すブロック図である。

【図１２】時間ｔ及び時間ｔ＋△ｔにおける撮像画像、
撮像画像から得られるオプティカルフローを示す説明図
である。

【図１３】障害物などの検出方法を説明する光学的配置
を示した図である。

【図１４】先願装置の課題を説明する図である。

【符号の説明】

１０撮像部１１ビデオカメラ２０検出部２１ハンドル舵角センサ２２速度センサ２３縦方向角速度センサ３０データ処理部３１ＣＰＵ３２ＲＯＭ３３ＲＡＭ４０記憶部５０警報部１００自車両２００他車両２０１Ｆ〜４０２ＦオプティカルフローＦＯＥ Focus Of Expansion（消失点、無限遠点）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ // Ｇ０１Ｃ 21/00 Ｇ０１Ｃ 21/00 Ａ

Claims

【特許請求の範囲】

【請求項１】自車両の所定位置に配設され自車両の後
側方を撮像する撮像手段と、所定時間相前後する２画像
中における同一点について、当該点の無限遠点から発散
する方向の移動をオプティカルフローとして検出するオ
プティカルフロー検出手段とを有し、自車両に対する後
方又は隣接車線を走行中の他車両のオプティカルフロー
に関し、そのベクトルの大きさに基づいて、前記他車両
と自車両との相対関係を監視する車両用後側方監視装置
において、前記自車両の走行方向を検出する走行方向検出手段と、自車両の走行距離を検出する走行距離検出手段と、前記走行方向検出手段からの走行方向情報及び前記走行
距離検出手段からの走行距離情報に基づき自車両の移動
量を算出し、この移動量により前記無限遠点の位置を変
更する無限遠点変更手段とを有することを特徴とする車
両用後側方監視装置。
【請求項２】前記走行方向検出手段は、前記自車両の
左右方向の移動方向を検出する第１移動方向検出手段
と、前記自車両の上下方向の移動方向を検出する第２移
動方向検出手段とを有することを特徴とする請求項１記
載の車両用後側方監視装置。
【請求項３】前記第１移動方向検出手段は、前記自車
両が有する操舵輪の操舵角を検出する操舵角検出手段で
あることを特徴とする請求項２記載の車両用後側方監視
装置。
【請求項４】前記第１移動方向検出手段は、前記自車
両の左右方向の移動により発生した角速度を検出する第
１角速度検出手段であることを特徴とする請求項２記載
の車両用後側方監視装置。
【請求項５】前記第２移動方向検出手段は、前記自車
両の上下方向の移動により発生した角速度を検出する第
２角速度検出手段であることを特徴とする請求項２記載
の車両用後側方監視装置。