JPH06249652A

JPH06249652A - 車間距離検出装置

Info

Publication number: JPH06249652A
Application number: JP5036578A
Authority: JP
Inventors: Tatsuharu Irie; 太津治入江
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1993-02-25
Filing date: 1993-02-25
Publication date: 1994-09-09

Abstract

(57)【要約】【目的】自車線前方の先行車までの距離を検出すると
ともに、隣の車線からの車線変更を早期に発見するなど
交通流の監視ができ、また、その処理時間を短縮するこ
とができる車間距離検出装置を得る。【構成】イメージセンサ３，４上に結像された画像上
にウインドウを設定し、このウインドウにより先行車両
３２を画像追尾しつつ、上記先行車両までの距離を三角
測量の原理で測定する先行車両追尾手段７と、上記画像
上に複数個のウインドウからなる監視領域を設定し、各
ウインドウで囲まれた対象物までの距離を検出するとと
もに、車両候補の抽出を行って自車両前方広域の交通流
の監視を行う交通流監視手段８と、上記先行車両追尾手
段７と上記交通流監視手段８を同時に制御する制御手段
１５とを備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はイメージセンサなどの
撮像手段を用いた光学式の車間距離検出装置に係り、特
に自車両とその前方を走行する先行車両までの車間距離
を連続的に測定するとともに自車両前方広域の交通流の
監視を行う車間距離検出装置に関するものである。

【０００２】

【従来の技術】図１１は特公昭６３−３８０８５号公
報、特公昭６３−４６３６３号公報などにより開示され
ている従来のイメージセンサを用いた光学式の距離検出
装置の構成を示すブロック図である。図において、１、
２は基線長Ｌだけ離れて配置された左右のレンズ、３、
４はレンズ１、２の焦点距離ｆの位置に配置されたイメ
ージセンサ、２１はイメージセンサ３、４から送られる
画像信号を用いて対象物３１までの距離の演算を行う信
号処理装置である。

【０００３】次に、対象物３１までの距離検出原理を説
明する。レンズ１、２を通してイメージセンサ３、４上
にそれぞれ結像された対象物３１の画像信号は、それぞ
れ信号処理装置２１に入力される。この信号処理装置２
１は２つの画像信号を順次シフトしながら電気的に重ね
合わせ、上記２つの画像信号が最もよく一致したときの
シフト量ａから三角測量の原理により対象物３１までの
距離Ｒを式（１）で求めている。

【０００４】Ｒ＝ｆ×Ｌ／ａ（１）

【０００５】他方、イメージセンサなどで撮像された先
行車両を画像追尾する技術は特公昭６０−３３３５２号
公報で開示されている。この公報によれば表示画面上で
追尾したい目標を囲む追尾ゲート（ウインドウ）をオペ
レータが表示画面を見ながら設定することにより上記目
標を特定させ、以後この目標を画像追尾するように構成
した技術が開示されている。

【０００６】更に、自車両前方の障害物や先行車両を監
視する技術は特開平４−１１３２１２号公報で開示され
ている。この公報によれば画像上に複数個のウインドウ
を設定してそれぞれのウインドウごとの距離を上記三角
測量の原理を用いて求める技術が開示されている。

【０００７】

【発明が解決しようとする課題】従来の車間距離検出装
置は、自車両前方を走行する先行車像を画面上に設定し
たウインドウにより画像追尾するとともに、このウイン
ドウ内の先行車までの車間距離を連続的に検出してい
る。ところで、実際には複数車線の走行において、自車
線の左あるいは右の車線にも走行車両があり、それらの
車両が常に走行車線に従って走行するとは限らず、車線
変更や車線の逸脱により自車線内に侵入して自車両前方
の比較的に近い距離に割り込むことがある。このような
場合、距離情報を用いた警報、あるいは走行制御システ
ムなどにおいて、ウインドウにより捕捉された先行車ま
での距離情報にのみ注目していると、割り込み車両の発
見、認識が遅れ、割り込み車両との異常接近を招く恐れ
がある。

【０００８】また、ウインドウなどで先行車の画像追尾
を開始する場合、車両運転中に運転者が表示画面を見な
がらジョイスティックやトラックボードなどを用いて画
像追尾用のウインドウを設定することは前方不注意など
の危険性を伴うという問題点があった。

【０００９】この発明は上記のような問題点を解消する
ためになされたもので、従来の光学式の車間距離検出装
置の先行車の画像追尾装置と前方広域の障害物監視装置
を組み合わせた構成となっており、いったん目標物を定
めるとそれが動いていても視野内にある限り連続的にそ
の目標物までの距離を計測できるとともに、複数車線を
走行中に他車線の障害物や車両の走行状況を把握し、自
車線への割り込み車両の早期発見など時々刻々と変化す
る交通流の監視が行える車間距離検出装置を得ることを
目的とする。更に、先行車を画像追尾する追尾用のウイ
ンドウの設定を表示画面を見なくても自動的に行うこと
ができる車間距離検出装置を得ることを目的とする。

【００１０】

【課題を解決するための手段】この発明の請求項１に係
る車間距離検出装置は、撮像手段上に結像された画像上
にウインドウを設定し、このウインドウにより先行車両
を画像追尾しつつ、上記先行車両までの距離を三角測量
の原理で測定する先行車両追尾手段と、上記画像上に複
数個のウインドウからなる監視領域を設定し、各ウイン
ドウで囲まれた対象物までの距離を検出するとともに、
車両候補の抽出を行って自車両前方広域の交通流の監視
を行う交通流監視手段と、上記先行車両追尾手段と上記
交通流監視手段を制御する制御手段とを備えたものであ
る。

【００１１】又、この発明の請求項２に係る車間距離検
出装置は、撮像手段上に結像された画像上にウインドウ
を設定し、このウインドウにより先行車両を画像追尾し
つつ、上記先行車両までの距離を三角測量の原理で測定
する先行車両追尾手段と、上記画像上に複数個のウイン
ドウからなる監視領域を設定し、各ウインドウで囲まれ
た対象物までの距離を検出するとともに、車両候補の抽
出を行って自車両前方広域の交通流の監視を行う交通流
監視手段と、上記先行車両追尾手段と上記交通流監視手
段を制御する制御手段と、上記先行車両追尾手段におい
て先行車両の画像追尾を開始する際に上記交通流監視手
段から得られる車両候補の中から画像追尾する先行車両
を選定しその車両像に上記ウインドウを設定することが
できる追尾用ウインドウ設定手段とを備えたものであ
る。

【００１２】

【作用】この発明の請求項１に係る車間距離検出装置に
おいて、先行車両追尾手段では追尾用ウインドウで先行
車像を画像追尾しながら先行車までの車間距離が連続的
に検出される。また、交通流監視手段では複数個のウイ
ンドウを用いて距離検出と車両候補の抽出を行うことに
より自車両前方広域の障害物や交通流の監視を行うこと
ができる。更に制御手段が上記先行車両追尾手段と交通
流監視手段を制御することにより、同一画面に対して異
なった処理を行うことができ、先行車両までの距離検出
を行うとともに、割り込み車両の早期発見が可能とな
り、かつ、比較的短時間でこれらの処理を行うことがで
きる。

【００１３】また、この発明の請求項２に係る車間距離
検出装置においては、交通流監視手段では常に交通流の
監視を行っているため、追尾用ウインドウ設定手段によ
って先行車両追尾手段において何らかの原因で注目すべ
き追尾車両を見失った場合の再設定や、注目車両の変更
などを速やかに行うことができる。

【００１４】

【実施例】

実施例１．以下、この発明の実施例１を図について説明
する。図１において、１、２は上下の光学系を構成する
レンズ、３、４はレンズ１、２にそれぞれ対応して配設
された２次元のイメージセンサ、５、６はイメージセン
サ３、４にそれぞれ接続されたアナログ・デジタル変換
器、７はアナログ・ディジタル変換器５に接続された先
行車両追尾手段、８はアナログ・ディジタル変換器６に
接続された交通流監視手段である。これら先行車両追尾
手段７及び交通流監視手段８は、それぞれアナログ・デ
ィジタル変換器５に接続されたメモリ９、１２、アナロ
グ・ディジタル変換器６に接続されたメモリ１０、１３
と、メモリ９、１０及びメモリ１２、１３にそれぞれ接
続された画像信号処理装置１１、１４をそれぞれ備えて
構成されており、これら先行車両追尾手段７及び交通流
監視手段８はそれぞれの画像信号処理装置１１、１４に
接続されたマイクロコンピュータ１５によって制御され
ている。

【００１５】１６はマイクロコンピュータ１５に接続さ
れ、距離などのデータを外部の装置に出力するためのイ
ンタフェースである。１７はマイクロコンピュータ１５
と後述する切り換えスイッチに接続され、運転者（図示
しない）によって操作される操作パネルであり、マイク
ロコンピュータ１５に画像追尾開始などの指示を送る。
１８は後述する切り換えスイッチに接続され先行車両追
尾手段７と交通流監視手段８で処理された画像を表示す
る表示装置である。１９は先行車両追尾手段７と交通流
監視手段８に接続されるとともに、表示装置１８接続さ
れ、この表示装置１８に表示したい画像を選択すること
ができる切り換えスイッチである。尚、３２は自車両前
方を走行する先行車両を示している。

【００１６】以上の構成において、まず、前方広域監視
による車両候補の抽出について説明する。例えば、運転
者が操作パネル１７を操作して前方広域監視の指示を与
えるとマイクロコンピュータ１５の制御により交通流監
視手段８で処理が行われ、図２に示すように下側のイメ
ージセンサ４により撮像された自車両前方の画像４１の
所定の位置における監視領域４２に複数個の距離測定用
ウインドウ４３、４４、４５、４６、４７が設定され
る。そして、図３に示すように画像中に先行車３２の像
３２ａと左車線を走行中の車両の像３３ａが入ってくる
と、複数個の距離測定用ウインドウ４３〜４７で捕えら
れる。

【００１７】そして、各距離測定用ウインドウ４３〜４
７が捕えている対象物までの距離を測定するが、ここで
はウインドウ４５、４６によって先行車像３２ａが捕え
られ、ウインドウ４４によって車両像３３ａが捕えられ
ており、先行車３２と車両像３３ａに対応する車両まで
の距離が検出される。距離検出方法は上下のイメージセ
ンサ３、４により撮像された画像を比較しその視差より
三角測量の原理を用いたもので、上述の式（１）によっ
て求めることができる。また、視差を求めるための画像
比較は画像信号処理装置１４で行われ、その方法につい
ては特開平４ー１１３２１２号公報などで開示されてい
る従来装置と同様のものであり詳細な説明は省略する。

【００１８】上記により各距離測定用ウインドウ４３〜
４７毎の距離を時間的に連続して求め、刻々と変化する
測定値をマイクロコンピュータ１５により比較し、背景
よりも近距離を示し、かつ、距離測定値が時間的に急激
な変化がないウインドウ、ここでは４４、４５、４６が
選択され、それらのウインドウが設定されている位置に
車両が存在すると推定される。更に、ウインドウ４５、
４６で捕らえられている対象物はほぼ同一の形状をな
し、しかも比較的近い距離を示すためにウインドウ４
５、４６で捕えられた対象物は同一車両であると推定さ
れる。

【００１９】ところで、距離を測定する対象物が自動車
の場合、後方から見た像は一般に左右対称であることが
多い。そこで、このような特徴を利用し、上記複数個の
距離測定用ウインドウが設定されている監視領域４２内
の対称性の判定を行い距離情報と併せて先行車の存在及
び画面上での先行車像の位置を特定する。まず、図４に
示すようにゲート４８が用意され、これを監視領域４２
内でずらしながらそのゲート内の画像信号に対して次に
示す式（２）の演算を行って対称性の評価を行う。但
し、Ｓ（ｉ，ｊ）は監視領域４２内の画像信号であり、
例えば、２５６階調で濃淡を表すものとする。また、
ｍ、ｎはそれぞれゲート４８の幅及び高さ、ｗは監視領
域４２の幅である。

【００２０】 A_k=ΣΣ{|S(k+i，j)ーS(k+m-1-i，j)|}(k=1，2，・・・，w-m) (2)

【００２１】式（２）において、ｉは０からｍ／２−１
までの値をとり、ｊは０からｎ−１までの値をとる。そ
して式（２）においてＡ_ｋの値が最小となる位置で最も
対称性がよいということになる。しかし、実際には道路
上には車両以外にも対称性のよいものが存在し、式
（２）の演算結果はいくつかの極小値をもつことにな
り、これら極小値をとるところが車両の存在位置の候補
となる。また、この処理は画像信号処理装置１４で行わ
れる。

【００２２】以上のようにして、車両の候補がいくつか
あげられるが、道路を走行する車両は通常の横方向へ急
激に移動することなく、また、自車両と先行する車両と
の相対距離も急激に変化しない。したがって、この各候
補点の時間変化による横方向への移動の安定度と上述の
距離測定用ウインドウによって得られる距離情報の時間
変化による安定度を判定することによって候補点の中か
ら車両候補のみを選択し、自車両前方の複数車線を走行
する複数車両の存在位置と自車両との車間距離が検出で
きる。以上のようにして前方広域の交通流の監視が行う
ことができる。

【００２３】次に、自車線前方を走行する先行車両まで
の距離を正確に検出するためのウインドウ追尾による距
離検出について説明する。まず、運転者により操作パネ
ル１７が操作され、先行車追尾が指示されるとマイクロ
コンピュータ１５の制御により先行車両追尾手段７にお
いて先行車像の画像追尾が開始されるが、このとき、目
標とする先行車を上記交通流監視手段８による前方広域
監視で得られる車両候補から選択する。ここでは、候補
のうち最も近距離でかつ画面中心に近い位置の候補を追
尾目標とし、この判定はマイクロコンピュータ１５が行
う。

【００２４】上記のようにして追尾目標が決定すると図
５に示すように画像４９上で先行車までの距離に応じた
大きさの追尾用ウインドウ５０が先行車像３２ａに設定
される。そして、この追尾用ウインドウ５０による先行
車像の３２ａの画像追尾動作が開始される。この画像追
尾動作は特公昭６０ー３３３５２号公報、あるいは、特
公平１ー３５３０５号公報に開示されている従来装置と
同様のものであり詳細な説明は省略する。

【００２５】次に、追尾用ウインドウ５０で捕えられた
先行車両３２と自車両との車間距離が検出される。この
車間距離は先行車像３２ａを追尾している追尾用ウイン
ドウ５０内の画像信号を車間距離演算の基準画像信号と
し、上記式（１）で説明した方法と同様に上下の画像信
号を比較して三角測量の原理により検出される。そし
て、画像４９内で先行車像３２ａがどのように移動して
も追尾用ウインドウ５０は先行車像３２ａを追尾し、先
行車３２と自車両との車間距離を連続して検出する。ま
た、追尾用ウインドウ５０は自車両と先行車３２との相
対距離とともに変化する先行車像３２ａの大きさに応じ
て数段階に大きさが変化する。

【００２６】次に、自車線前方の先行車像３２ａの追尾
中に隣の車線を走行している車両が車線変更を行い、自
車両と先行車３２の間に割り込もうとしたときについて
説明する。まず、先行車両追尾手段７では図６に示すよ
うに先行車像３２ａの画像追尾が行われ、刻々と先行車
両３２までの正確な距離が検出されているが、右の車線
を走行していた画像３４ａに対応する車両が割り込みを
開始したとする。ここで、先行車両追尾手段７での処理
と同時に交通流監視手段８により前方広域の監視の処理
が行われており、図７に示すように画像４１上では車両
像３４ａが距離測定用ウインドウ４７によって捕えら
れ、上述のように右側の位置に近い距離の対象物が存在
すると推定でき、画像３４ａに対応する車両の割り込み
が検出できる。

【００２７】更に、この車両像３４ａに対応する車両が
割り込みを続け、図８に示すような先行車像３２ａが図
９に示すように車両像３４ａによって隠れてしまうよう
な状態になるとマイクロコンピュータ１５の判定により
この車両を自車線前方を走行する先行車とみなし先行車
両追尾手段に追尾ウインドウを車両像３４ａに設定し直
すように指示する。このように割り込み車両があった場
合など速やかにその追尾目標を変更することができる。

【００２８】図１０は以上に説明した全体の動作を示す
フローチャートである。以下にこのフローチャートにつ
いて説明する。まず、ステップＳ１において交通流監視
手段８が前方広域の監視指示を受け、ステップＳ２にお
いて先行車両追尾手段７が先行車両の追尾指示を受ける
と、ステップＳ３では先行車両追尾手段７によって、現
在車両の追尾中か否かが判断され、追尾中の場合はステ
ップＳ４において先行車両までの距離情報の読込みが行
われ、ここで得られた距離情報がステップＳ５で出力イ
ンタフェース１６に出力される。一方、ステップＳ３に
おいて追尾中でないと判断された場合は、ステップＳ６
において交通流監視手段８が追尾して距離を測定する候
補があるか否かを判断し、候補がある場合はステップＳ
７において追尾用ウインドウ設定手段によりウインドウ
を設定して追尾目標の指定を行う。そして、この指定を
行った後、及びステップＳ５において距離情報を出力し
た後は、ステップＳ８において、交通流監視手段８が割
込み車があるか否かを判断する。そして割込み車がある
場合は、ステップＳ９において追尾を取り消して、ステ
ップＳ３に戻る。またステップＳ６において候補がない
場合、及びステップＳ８において割込み車がない場合も
同様に、ステップＳ３に戻る。

【００２９】なお、上記実施例では各手段の制御をマイ
クロコンピュータ１５の時分割により制御するものとし
たが、同時に複数の処理を行うことができればその制御
方法は問わない。また、交通流監視手段での処理につい
て５個のウインドウを横１列に並べた監視領域を設定し
たが、用途、要求される機能に応じてその個数や配列の
方法を変えることができる。また、その大きさや形状も
対象物に応じてそれぞれ任意に変えてもよく、上記実施
例に限定されるものではない。更に、車両候補の抽出方
法には左右対称性の判定と候補点の位置の変動量および
検出距離の変動量の判定を用いたが、その抽出方法はエ
ッジ成分の抽出を用いた形状認識などこれに代わるもの
でもよい。以上の構成においてマイクロコンピュータ１
５は請求項における制御手段、および追尾用ウインドウ
設定手段をの一部を構成している。

【００３０】

【発明の効果】以上に詳述したように、この発明の請求
項１に係る車間距離検出装置によれば、撮像手段上に結
像された画像上にウインドウを設定し、このウインドウ
により先行車両を画像追尾しつつ、上記先行車両までの
距離を三角測量の原理で測定する先行車両追尾手段と、
上記画像上に複数個のウインドウからなる監視領域を設
定し、各ウインドウで囲まれた対象物までの距離を検出
するとともに、車両候補の抽出を行って自車両前方広域
の交通流の監視を行う交通流監視手段と、上記先行車両
追尾手段と上記交通流監視手段を制御する制御手段とを
備えたため、自車線前方の先行車までの車間距離を正確
に測定するとともに複数車線の走行中に隣の車線を走行
している車両の車線変更や逸脱による割り込みを早期に
発見できるという効果を奏する。又、上記のように同一
画像に対して異なった処理が同時に行え処理時間が短く
なるという効果も奏する。更に、上記の効果により車間
距離の情報を必要とする警報システムや走行制御システ
ムへの展開を考えた場合、自車両前方のみの狭い範囲に
対する距離計測だけでなく前方広域の監視も行っている
のでより安全なシステムが構築できるという効果をも奏
する。

【００３１】又、この発明の請求項２に係る車間距離検
出装置によれば、撮像手段上に結像された画像上にウイ
ンドウを設定し、このウインドウにより先行車両を画像
追尾しつつ、上記先行車両までの距離を三角測量の原理
で測定する先行車両追尾手段と、上記画像上に複数個の
ウインドウからなる監視領域を設定し、各ウインドウで
囲まれた対象物までの距離を検出するとともに、車両候
補の抽出を行って自車両前方広域の交通流の監視を行う
交通流監視手段と、上記先行車両追尾手段と上記交通流
監視手段を制御する制御手段と、上記先行車両追尾手段
において先行車両の画像追尾を開始する際に上記交通流
監視手段から得られる車両候補の中から画像追尾する先
行車両を選定しその車両像に上記ウインドウを設定する
ことができる追尾用ウインドウ設定手段とを備えたた
め、上記効果に加え、先行車を画像追尾する追尾用のウ
インドウの設定を表示画面を見なくても自動的に行うこ
とができるという効果を奏する。

【図面の簡単な説明】

【図１】この発明の実施例１を示すブロック図である。

【図２】交通流監視手段において監視領域内に複数個の
ウインドウが設定された状態を示す図である。

【図３】複数個のウインドウが設定された画像内に車両
像が入った状態を示す図である。

【図４】交通流監視手段において対称性を判定するゲー
トとその走行領域を示す図である。

【図５】先行車両追尾手段において先行車像に追尾ウイ
ンドウが設定された状態を示す図である。

【図６】割り込み車が入ったときの先行車両追尾手段の
画像を示す図である。

【図７】割り込み車が入ったときの交通流監視手段の画
像を示す図である。

【図８】完全に割り込まれたときの交通流監視手段の画
像を示す図である。

【図９】先行車両追尾手段において追尾ウインドウを割
り込み車に再設定した状態を示す図である。

【図１０】実施例の全体動作を示すフローチャートであ
る。

【図１１】従来の距離検出装置を示すブロック図であ
る。

【符号の説明】１，２レンズ３，４イメージセンサ７先行車両追尾手段８交通流監視手段１１、１４画像信号処理装置１５マイクロコンピュータ３２〜３４先行車両４２監視領域４３〜４７距離測定用ウインドウ４９先行車両追尾手段の画像５０追尾用ウインドウ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｇ 1/16 Ｅ 2105−3ＨＣ 2105−3Ｈ // Ｂ６０Ｒ 21/00 Ｃ 8812−3Ｄ

Claims

【特許請求の範囲】

【請求項１】撮像手段上に結像された画像上にウイン
ドウを設定し、このウインドウにより先行車両を画像追
尾しつつ、上記先行車両までの距離を三角測量の原理で
測定する先行車両追尾手段と、上記画像上に複数個のウインドウからなる監視領域を設
定し、各ウインドウで囲まれた対象物までの距離を検出
するとともに、車両候補の抽出を行って自車両前方広域
の交通流の監視を行う交通流監視手段と、上記先行車両追尾手段と上記交通流監視手段を制御する
制御手段と、を備えた車間距離検出装置。
【請求項２】撮像手段上に結像された画像上にウイン
ドウを設定し、このウインドウにより先行車両を画像追
尾しつつ、上記先行車両までの距離を三角測量の原理で
測定する先行車両追尾手段と、上記画像上に複数個のウインドウからなる監視領域を設
定し、各ウインドウで囲まれた対象物までの距離を検出
するとともに、車両候補の抽出を行って自車両前方広域
の交通流の監視を行う交通流監視手段と、上記先行車両追尾手段と上記交通流監視手段を制御する
制御手段と、上記先行車両追尾手段において先行車両の画像追尾を開
始する際に上記交通流監視手段から得られる車両候補の
中から画像追尾する先行車両を選定しその車両像に上記
ウインドウを設定することができる追尾用ウインドウ設
定手段と、を備えた車間距離検出装置。