JP3123303B2

JP3123303B2 - 車両用画像処理装置

Info

Publication number: JP3123303B2
Application number: JP05138145A
Authority: JP
Inventors: 智弘山村; 宏佐藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1992-07-21
Filing date: 1993-06-10
Publication date: 2001-01-09
Anticipated expiration: 2016-01-09
Also published as: JPH06124340A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、車両の周囲の環境を
認識する車両用画像処理装置に関する。このような車両
用画像処理装置は、例えば、車両の自動走行制御装置や
他車両への接近警報装置等に適用される先行車両検出装
置、すなわち自車両の前方を走行する先行車両の位置を
検出する装置等に利用される。

【０００２】

【従来の技術】従来の車両用画像処理装置としては、例
えば図１４に示すようなものがある。図１４において、
（ａ）は１個のイメージセンサを用いて車両の周囲の可
能な限り広い範囲の情報を取り込み、その情報を認識す
る車両用画像処理装置である。また、（ｂ）は、２個の
イメージセンサを用い、それらを所定の角度と距離をお
いて設置し、各々の情報の視差から物体までの距離と方
向および特徴を抽出する車両用画像処理装置である。

【０００３】

【発明が解決しようとする課題】上記のような従来の車
両用画像処理装置においては、次のごとき問題があっ
た。すなわち、遠方に存在する物体は画像が小さくなるため、その特
徴を抽出するのが困難である、取り込まれた画像の全てを処理するため、情報量が多
い。そのため処理が複雑になって、処理速度が遅くな
り、かつ処理装置の規模が大きくなるので、車両の設備
としては使用が困難である、画像処理方法の変更が自由に行なえないため、特定の
情報しか得られない、さらに、走行する車両においては、物体までの距離が
正確に計測できないため、画像の情報を得られたとして
も、運転者への警報や、車両の走行制御に有効に使用で
きない、という問題があった。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、適切な画像処理を行
なうことが出来、かつ車両用として実用的に実現可能な
車両用画像処理装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、車両に搭載され、車両周囲の画像情報を入力す
るイメージセンサと、車外に存在する単一あるいは複数
の物体までの距離と方向の情報を求める距離測定手段
と、上記距離と方向の情報に基づいて、上記物体の存在
する領域周辺を画像処理を行なう領域として決定する処
理、または上記物体のうちの何れかを画像処理を行なう
対象物として決定する処理の何れか一方を含む画像処理
方法を判断して設定する判断手段と、上記イメージセン
サで求めた画像情報に対して、上記判断手段で設定した
画像処理方法に基づいて画像処理を行なう画像処理手段
と、を備えている。また、上記の判断手段は、例えば、
請求項２に記載のごとく、画像を拡大・縮小・方向転換
・焦点調整する処理のうちの少なくとも一つの処理を含
む画像処理方法を判断して設定するものである。また、
上記のイメージセンサは、例えば請求項３に記載のごと
く、上記判断手段で設定した拡大・縮小・方向転換・焦
点調整の処理に応じて画像中の詳細な画像処理が必要な
予め定めた物体を拡大・縮小・方向転換・焦点調整する
ものである。また、請求項４に記載の発明は、上記の構
成の他に、自車両の走行状態を検出する測定手段を備
え、その測定手段の検出結果に応じて上記判断手段が車
両の走行環境を判断し、判断した走行環境に対して予め
定めた物体を画像処理を行なう対象物として決定するよ
うに構成したものである。また、請求項５に記載の発明
は、上記の車両用画像処理装置を先行車両検出装置に適
用した場合の具体的な構成を示すものである。

【０００６】

【作用】上記のように本発明においては、距離測定手段
の測定結果に基づいて、判断手段が画像処理方法を決定
する。この画像処理方法とは、例えば請求項１に記載の
ように、物体の存在する領域周辺を画像処理を行なう領
域として決定する処理、または上記物体のうちの何れか
を画像処理を行なう対象物として決定する処理の何れか
一方の処理、或いは請求項２に記載のように、画像を拡
大・縮小・方向転換・焦点調整する処理のうちの少なく
とも一つの処理である。そして画像処理手段は、上記の
設定された画像処理方法に基づいて画像処理を行なう。
したがって、画像処理が必要な重要物体、例えば自車両
の走行を妨げるような物体を対象として重点的に画像情
報を抽出する処理を行なうことになり、画像処理手段で
データ処理を行なう範囲が限定されるため、扱うデータ
数が大幅に減少し、かつ処理過程が高速になり、注視す
る物体の特徴抽出を高速に実行することができる。ま
た、請求項３に記載のように、イメージセンサで画像中
の詳細な画像処理が必要な予め定めた物体を拡大・縮小
・方向転換・焦点調整するものにおいては、画像処理の
ための最適な画像が得られるので、少ない画素データか
らは得られない詳細な情報、例えば車両のナンバープレ
ートを識別するような情報を画像処理手段から得ること
ができる。また、請求項４に記載の発明のように、自車
両の走行状態を検出する測定手段を備え、その検出結果
に応じて判断手段が車両の走行環境を判断し、判断した
走行環境に対して予め定めた物体を画像処理を行なう対
象物として決定するものにおいては、車両前方に複数の
物体が存在する場合に、自車両の走行状態等に応じてど
の物体を注視するのかを選定することが出来る。また、
請求項５に記載の発明においては、反射体検出手段によ
って反射体までの距離と方向を検出し、その結果に応じ
て画像処理認識手段における処理領域を設定する画像処
理領域設定手段を設け、反射体までの距離と方向に応じ
て画像処理領域を定めるように構成している。そのた
め、先行車両の位置を確実に検出することが可能になる
と共に、画像処理を行う領域を狭い範囲に限定すること
が出来るので、超高速計算機を用いることなしにリアル
タイムで演算処理を行うことが可能となる。

【０００７】

【実施例】以下、この発明を図面に基づいて説明する。
図１は、この発明の第１の実施例を示すブロック図であ
る。図１において、距離測定手段６０は、例えば光、電
波、超音波等を使用したレーダであり、物体までの距離
および方向情報が得られる。光を使用したものには、レ
ーザとフォトセンサを組み合わせ、レーザ光が物体に反
射して戻ってくるまでの経過時間を測定することによ
り、距離を計測するものがある。なお、発射するレーザ
光を上下左右に走査すれば、その方向での距離が計測で
きるので、距離と方向の情報が得られる。電波や超音波
を使用したものにおいても上記とほぼ同様の構成で実現
することが出来る。また、判断手段６１は、距離測定手
段６０の測定結果に基づいて画像処理の方法を判断して
設定する手段である。なお、上記の画像処理方法とは、
この実施例においては画像処理する領域の決定処理であ
る。また、イメージセンサ６２は、車両周囲の画像情報
を入力する手段であり、例えばＣＣＤを使用したビデオ
カメラ装置である。また、画像処理手段６３は、例えば
パターン認識を行なわせる手段である。この画像処理手
段６３と上記判断手段６１は、例えばコンピュータで構
成することが出来る。なお、Ｓ１は距離・方向信号、Ｓ
２は画像信号、Ｓ３は判断信号、Ｓ４は特徴抽出信号で
ある。

【０００８】次に、図２は、車両と車外の物体との位置
関係を示す図であり、（ａ）は上面図、（ｂ）は側面図
である。図２において、６４は車両、６５は車外の物体
である。また、図３は距離測定結果の一例を示す図表、
図４は図１の装置における処理手順を示すフローチャー
トである。以下、図２〜図４に基づいて図１の実施例の
作用を説明する。まず、車両の前方に存在する物体６５
の距離と方向を、自車両６４の先端に設けた距離測定手
段６０（図２では図示省略）によって測定する。この距
離測定手段６０は、車両の横方向にθｘ、高さ方向にθ
ｙを設定した場合（図２参照）、各方位に対して、距離
を示すデータがマトリクスＬ（θｘ，θｙ）上に得るこ
とが出来るものである。図３に示す距離測定結果の例
は、図２に示したような右方向に物体６５がある場合の
結果である。判断手段６１は、上記の測定結果に基づい
て物体の位置を推定する。この推定方法は、例えば次の
ように行なう。すなわち、全てのＬ（θｘ，θｙ）につ
いて、隣合ったＬ（θｘ′，θｙ′）との値を比較す
る。そして物体が存在する場所と存在しない場所との境
界部分では、Ｌ（θｘ，θｙ）とＬ（θｘ′，θｙ′）
の値は大きく異なるので、その位置に物体が存在するこ
とが判る。上述した例では、右方向に物体があることが
推定される。さらに、判断手段６１は、上記の結果に基
づいて画像処理の方法を設定する。この実施例の場合に
は、画像処理の方法として、画像処理を行なう領域を決
定する処理を用いる。したがって判断手段６１は、画像
処理を行なう領域を物体が存在する周辺に決定する。こ
の際の決定方法は、推定された物体の大きさに或る適当
な値を掛けて物体よりも大きな領域とする。次に、画像
処理手段６３は、イメージセンサ６２で求めた車両前方
の画像情報に対して、判断手段６１から送られたデータ
に基づき、画像処理を行なう領域を設定し、その領域に
ついて重点的にデータ処理を行なう。上述した例では、
右方向の物体に対する画像処理を重点的に行なう。上記
のように、判断手段６１によって自車両の走行を妨げる
ような物体の距離と方向を検知し、その物体を対象とし
て重点的に画像情報を抽出する処理を行なうことによ
り、画像処理手段６３でデータ処理を行なう範囲が限定
されるため、扱うデータ数が大幅に減少し、処理過程が
高速になり、注視する物体の特徴抽出を高速に実行する
ことができる。

【０００９】次に、図５は、本発明の第２の実施例を示
すブロック図である。この実施例は、物体に対する詳細
な画像情報が必要な画像処理装置に本発明を適用したも
のである。図５において、距離測定手段６６は、前記図
１のものと同様である。また、判断手段６７は、前記図
１のものと同様に物体までの距離と方向を推定するが、
さらにイメージセンサ６８を制御する信号を出力するも
のである。また、イメージセンサ６８は、上記判断手段
６７から与えられる制御信号に応じて、画像情報の拡
大、縮小、フォーカスおよび回転制御ができるイメージ
センサである。このようなイメージセンサとしては、ズ
ーム機構を持つレンズとカメラ全体を回転させることが
できる機構を有するビデオカメラ装置を用いることが出
来る。また、画像処理手段６９は、例えば、車両のナン
バープレートを識別するような詳細な画像処理手段であ
る。なお、Ｓ１は距離・方向信号、Ｓ２は画像信号、Ｓ
３は判断信号、Ｓ４は特徴抽出信号、Ｓ５は拡大・縮小
・方向転換信号である。前記図２に示した環境では、右
方向に物体が存在している。距離測定手段６６では、前
記図１と同様に、距離データがマトリクス上に得られ
る。判断手段６７は、上記の結果に基づいて、前記第１
の実施例と同様に、物体までの距離と方向を推定し、イ
メージセンサ６８のパン、チルト、ズーム、フォーカス
調整機構を制御する。例えば前記図３に示したデータが
得られた場合には、カメラを右側に動かし、距離に応じ
たフォーカスの調整を行なう。このように処理すること
により、画像処理のための最適な画像が得られる。した
がって、少ない画素データからは得られない詳細な情
報、例えば車両のナンバープレートを識別するような情
報を画像処理手段６９から得ることができる。なお、上
記の画像処理手段６９で得られる詳細な情報としては、
先行車両のブレーキランプ、方向指示器の点灯、車両の
大きさ、進行方向等があり、それらの特徴を抽出するこ
とが出来る。また、判断手段６７で設定した注視物体に
ついて画像処理手段６９が画像処理を行なうことによ
り、歩行者や建造物の特徴を抽出することも出来るし、
標識、信号機の位置、踏切の有無、道路設備等の状況を
認識することも出来る。

【００１０】次に、図６は、本発明の第３の実施例のブ
ロック図である。図６において、距離測定手段７０は、
前記第１の実施例に用いたものと同様である。また、車
速センサ７１は、車両の走行速度を計測するものであ
り、例えば単位時間当たりの車輪の回転数を検知し、車
輪の円周の長さから車両の速度を計測するものや、光や
電波を路面に反射させ、ドップラ効果によって速度を計
測するもの等がある。また、舵角センサ７２は、操舵角
を検出するものであり、例えばロータリエンコーダを内
蔵したステアリングホイールを用いることが出来る。ま
た、ヒューマンインターフェース７３は、画像処理装置
と乗員との間で情報の交換を行なう装置であり、例えば
車室内に設けた操作スイッチや表示装置である。この操
作スイッチを乗員が操作して画像処理装置に信号を入力
し、また画像処理装置の情報を表示装置に表示して乗員
に与える。また、イメージセンサ７４は、前記第２の実
施例に用いたものと同様のものである。また、判断基準
設定手段７５は判断手段７６の判断基準を設定する手段
（詳細後述）である。また、７６は判断手段、７７は画
像処理手段である。上記の判断基準設定手段７５、上記
判断手段７６および画像処理手段７７は、例えばコンピ
ュータで構成することが出来る。なお、Ｓ１は距離・方
向信号、Ｓ２は画像信号、Ｓ３は判断信号、Ｓ４は特徴
抽出信号、Ｓ５は拡大・縮小・方向転換信号、Ｓ６は車
速信号、Ｓ７は舵角信号、Ｓ８は基準値設定用信号、Ｓ
９は基準信号である。

【００１１】次に、作用を説明する。車両前方に複数の
物体が存在する場合には、複数の画像処理領域を設定す
ることが必要になるが、本実施例は、このような場合
に、物体の大きさや距離、さらには自車両の走行状態等
に応じてどの物体を注視するかを変更するように構成し
たものである。判断基準設定手段７５は、判断手段７６
の判断基準を設定する。すなわち、判断手段７６では、
自車両が現在どのような環境にあるかを判断し、それに
応じて注視すべき物体を決定するが、判断基準設定手段
７５は、上記の判断における判断基準を設定する。例え
ば、自車両の状態の検知は、車速センサと舵角センサに
より、走行速度と操舵角とを検知することによって行な
い、走行速度が所定値以上で舵角が所定値以下の場合は
高速道路を走行中であると判断し、また、舵角が所定値
以上で車速が所定値以下の場合には交差点近傍を走行中
であると判断することが出来るが、判断基準設定手段７
５は、上記の判断の基準となる車速値や舵角値の閾値を
設定するものである。この基準値の設定は、乗員が操作
スイッチ等のヒューマンインターフェイス７３を用いて
入力する。判断手段７６は、上記のように高速道路を走
行中と判断した場合には前方の障害物を注視物体と判断
し、また、交差点近傍を走行中である判断した場合は、
前方の信号機を注視物体と判断する。そして画像処理手
段７７では、その注視物体に対して画像処理を行なう。
なお、上記の説明では、判断基準設定手段７３の基準値
の設定を、ヒューマンインターフェース７３を用いて行
なう場合を説明したが、画像処理結果を入力することに
よって、環境設定を自動的に行なうことも可能である。
例えば、道路上の白線を画像処理手段７７が検出するシ
ステムに本発明を適用した場合には、交差点近傍では連
続した白線は検知されないという特性を利用し、白線欠
落を検知した場合に交差点近傍と判断し、注視物体を前
方の信号機とするように設定することが出来る。以上を
まとめると次のようになる。まず、距離測定手段７０に
よって物体の距離と方向を測定する。この測定結果と車
両の走行状況によって判断基準設定手段７５と判断手段
７６が画像処理を行なう対象物を決定する。例えば、高
速道路走行中と判断した場合は、先行車両を対象物と
し、交差点近傍を走行中と判断した場合は、信号機を対
象物に決める。ただし、状況に応じて適宜設定できるの
で、上記の例に限定されるものではない。また、判断手
段７６は、画像処理を行なう上で、最適な画像になるよ
うにイメージセンサ７４の調節（拡大、縮小、方向転換
等）を行ない、また、イメージセンサ７４から取り込ま
れた画像のどの部分を処理するかを決定する。イメージ
センサ７４の画像を取り込んだ画像処理手段７７は、対
象物に応じた物体の特徴抽出を行なう。この特徴抽出
は、例えば、障害物の検出、衝突の危険性のある車両の
ブレーキランプ点灯の検出、標識に示された制限速度の
認識等である。さらに、距離情報の時間的変化を計算す
ることで、自車両と対象物との相対速度も検出すること
が出来る。なお、この実施例においても、前記第２の実
施例と同様に、画像処理手段７７で得られる詳細な情報
としては、先行車両のブレーキランプ、方向指示器の点
灯、車両の大きさ、進行方向等があり、それらの特徴を
抽出することが出来る。また、判断手段７６で設定した
注視物体について画像処理手段７７が画像処理を行なう
ことにより、歩行者や建造物の特徴を抽出することも出
来るし、標識、信号機の位置、踏切の有無、道路設備等
の状況を認識することも出来る。また、距離測定手段７
０やイメージセンサ７４は、車両の前後左右等必要に応
じ増設することもできる。この場合、それぞれ独立した
方向で物体の特徴抽出が可能になる。

【００１２】次に、本発明を先行車両検出に応用した実
施例について説明する。従来の先行車両検出装置として
は、例えば特開昭６１−２３９８５号公報等に記載され
ているような電磁波の反射を用いたものがある。これ
は、車両前方に電磁波（例えばレーザ光など）を所定角
度掃引しながら放射し、反射体からの反射波を受信し、
所定の掃引角度毎に電磁波の放射から受信までの伝播遅
延時間に基づいて反射体までの距離を算出することによ
り、自車両から反射体までの距離と方向を検出するもの
であり、自車両から反射物までの方向と距離の情報を得
ることができる。なお、一般的に車両には後方からの視
認性を向上させるために、その後部にリフレックス・リ
フレクタが設置されているが、このリフレックス・リフ
レクタが反射体となって、レーザ光などの電磁波を反射
するため、容易に検出することができる。また、これ以
外にも車両前方に向けたテレビカメラ等を用いて、車両
前方の風景を入力し、入力された画像に対して画像処理
を行なって先行車両や道路を認識する装置も考えられて
いる。

【００１３】しかしながら、このような従来の先行車両
検出装置においては、以下のような問題があった。ま
ず、レーザレーダ等の電磁波の反射を用いた先行車両検
出装置においては、反射体として車両後尾に設けられた
リフレックス・リフレクタだけでなく、道路の路側帯に
設置されたガードレール上のコーナ・リフレクタ等も考
えられるため、数多くの反射体の中から、先行車両のリ
フレックス・リフレクタからの反射だけを選別するのは
非常に困難である、という問題がある。また、反射体ま
での検出距離の単位時間における変化量を自車両の走行
車速と比較し、反射体が停止物であるか移動物体である
かを判別して移動物体のみを車両として認識することは
比較的容易に可能である。しかし、この方法では、例え
ば高速道路における渋滞の最後尾に停止している車両等
に関しては、停止物であるが故に車両ではないと判断し
てしまうので、先行車両の位置を検出することができ
ず、そのため精度の高い走行制御や、他車両への過剰接
近に対する適切な警報を発することができない、という
問題がある。また、テレビカメラからの画像を画像処理
して先行車両を認識するような先行車両検出装置におい
ては、現在の技術では画像処理を用いて路端や車線を示
す白線を認知することは比較的容易に可能であるが、先
行車両の識別に関してはあまり高精度は期待出来ない。
また、先行車両の識別については処理回数も多く必要で
あるため、大量の画像データを処理する必要がある。そ
して、車両の自動走行や追突警報装置などに適用する場
合には、このような処理を高速（リアルタイム）で行な
うことが必須であり、非常に高速な計算機が必要にな
る、という問題がある。また、先行車両検出目的以外の
通常の画像処理を用いた技術においては、全画面の中か
ら画像処理を行なう必要のある領域（注目領域）を限定
し、その中で各種処理を行なうことにより、全体の計算
量を減少させる方法を適用することが出来るが、先行車
両検出の場合には、先行車両が自車両のカメラの画面に
対して、どの領域にでも存在する可能性があり、単純に
注目領域を設定することができないため、この方法によ
る高速化は困難であった。本実施例は、上記のごとき従
来技術の問題を解決し、先行車両を確実に検出すること
が可能であり、かつ超高速計算機なしでも実用的に実現
可能な先行車両検出装置を提供するものである。

【００１４】図７は、本実施例の機能ブロック図であ
る。図７において、反射体検出手段１は、所定角度範囲
を掃引しながら自車両の走行方向に電磁波を放射し、反
射体からの反射波を受信し、所定の掃引角度毎に電磁波
の放射から受信までの伝播遅延時間に基づいて反射体ま
での距離を算出することにより、自車両から反射体まで
の距離と方向を検出する。この反射体検出手段１は、例
えば、後記図８の実施例におけるレーザ光掃引方向検出
装置１１、レーザ光掃引装置１３およびレーザレーダ装
置２１の部分に相当する。また、撮影手段３は、自車両
の走行方向前方の風景を撮影する。この撮影手段３は、
例えば後記図８の実施例におけるテレビカメラ２３に相
当する。また、画像認識手段７は、上記撮影手段３によ
って撮影された車両前方の画像を処理して前方に存在す
る先行車両を検出する。この画像認識手段７は、例えば
後記図８の実施例における画像処理回路２５の部分に相
当する。また、画像処理領域設定手段５は、画像認識手
段７における画像処理領域を、反射体検出手段１から検
出された距離および方向に応じて設定する。この画像処
理領域設定手段５は、例えば、後記図８の実施例におけ
る信号処理回路３１の部分に相当する。また、先行車位
置出力手段９は、画像処理認識手段７によって先行車と
認識された反射体までの距離または方向もしくはその両
方を出力する。この先行車位置出力手段９は、例えば後
記図８の実施例における先行車両位置出力回路２７の部
分に相当する。なお、画像処理領域設定手段５の内容と
しては、反射体検出手段１からの距離検出が行なわれた
方向から所定角度範囲内の領域でのみ画像処理を行なう
ように画像処理領域を設定するもの、反射体検出手段１
による検出距離が大きいほど画像処理領域を画面の上方
に設定する、反射体検出手段１による検出距離が大きい
ほど画像処理領域の面積を小さく設定するもの等が考え
られる。上記のごとく本実施例においては、反射体検出
手段１によって反射体までの距離と方向を検出し、その
結果に応じて画像処理認識手段７における処理領域を設
定する画像処理領域設定手段５を設け、反射体までの距
離と方向に応じて画像処理領域を定めるように構成して
いる。そのため、先行車両の位置を確実に検出すること
が可能になると共に、画像処理を行う領域を狭い範囲に
限定することが出来るので、超高速計算機を用いること
なしにリアルタイムで演算処理を行うことが可能とな
る。

【００１５】図８は、本実施例のブロック図である。な
お、図８は、自車両と先行車両との車間距離を所定の安
全距離以上に保つように自動的に制御する自動車間距離
制御装置に本発明を適用した場合を例示している。図８
において、レーザレーダ装置２１は、レーザ光を放射す
る送光器１５、この送光器１５から出力されたレーザ光
の反射光を受光する受光器１７、送光器１５におけるレ
ーザ光の放射から受光器１７における反射光の受光まで
のレーザ光の伝播遅延時間に基づいて反射体までの距離
を検出する距離検出回路１９を備えている。この距離検
出回路１９の出力は信号処理回路３１に送られる。ま
た、レーザレーダ装置２１の送光器１５から放射される
レーザ光は、レーザ光掃引装置１３によって車両の前方
方向を中心に左右に掃引されるように制御されている。
このレーザ光掃引装置１３は、例えば、ミラーを用いて
レーザ光を左右方向に例えば振幅±１０度程度、周波数
１０Ｈｚ程度で掃引するものである。このレーザ光掃引
装置１３の掃引角度はレーザ光掃引方向検出装置１１に
よって検出され、信号処理回路３１に供給される。上記
のように、信号処理回路３１には、距離検出回路１９か
らの距離信号とレーザ光掃引方向検出装置１１からの掃
引角度信号とが入力される。したがって信号処理回路３
１に入力する信号は、所定の掃引角度毎における反射体
までの距離、すなわち、自車両から反射体までの距離と
方向の情報を有する信号となる。なお、上記のレーザ光
掃引方向検出装置１１としては、上記レーザ光掃引装置
１３のミラーを制御する手段として例えばステップモー
タを用いている場合にはこのステップモータを駆動する
パルス数に対応して掃引角度を出力する装置を用いるこ
とが出来、また、上記レーザ光掃引装置１３として例え
ばガルバノメータ方式のものを用いた場合にはこのガル
バノメータを制御する制御信号を掃引角度に対応した信
号として出力する装置を用いることが出来る。次に、信
号処理回路３１は、上記レーザレーダ装置２１の距離検
出回路１９から供給された距離と上記レーザ光掃引方向
検出装置１１から供給された掃引角度とに基づいて画像
処理を行なうべき画像領域を設定し、画像処理装置２９
の画像処理回路２５に対して出力する。また、画像処理
装置２９は、自車両前方の画像を取り込むためのテレビ
カメラ２３と、取り込まれた画像を処理して先行車両を
認識する画像処理回路２５と、画像処理回路２５の結果
を出力する先行車両位置出力回路２７からなっており、
検出された先行車両までの距離、方向、速度を出力す
る。なお、上記の信号処理回路３１、画像処理回路２５
および先行車両位置出力回路２７の部分は、例えばマイ
クロコンピュータで構成することが出来る。また、車両
運動制御回路３３は、上記の与えられた先行車両までの
距離、方向、速度に基づいて、安全車間距離を保って先
行車両に追従走行できるようにアクチュエータ３５に対
して指令値を出力する。このアクチュエータ３５によっ
てスロットル弁、ブレーキ、ハンドル等の操縦装置３７
を制御することにより、安全に追従走行することが出来
る。

【００１６】次に、本実施例の全体の作用を説明する前
に、まず画像処理領域の設定方法について説明する。図
９は、自車両が緩い右カーブを走行中の状態を模式的に
示す平面図である。図９において、図示しないレーザレ
ーダ装置２１から放射されたレーザ光は、車体中心線５
５を中心にして左右に角度θＭの範囲で掃引されてい
る。また、図示しないテレビカメラ２３は水平面内の画
角がレーザレーダ装置２１の掃引範囲−θＭ〜θＭと一
致するように設定され、この範囲の画像を取り込んでい
る。その他、４１および４３は路側帯に設けられた反射
器（例えばキャッツアイのごときもの）、４５は先行車
両、４７ａ、４７ｂは先行車両に取り付けられたリフレ
ックス・リフレクタ、４９はセンターライン、５１およ
び５３は路端を示すラインである。

【００１７】次に、図１０は、図９の状態においてテレ
ビカメラ２３から取り込まれた車両前方画像を示す図で
あり、図９と同一のものの画像は同じ符号に「′」を付
けて示している。すなわち４５′は先行車両の画像であ
り、同様に、４１′、４３′は左右の路側帯に設けられ
た反射器、４７ａ′、４７ｂ′は先行車両に取り付けら
れたリフレックス・リフレクタ、４９′はセンターライ
ン、５１′および５３′は路端を示すラインの画像を示
す。

【００１８】次に、図１１は、レーザ光掃引方向検出装
置１１から出力された掃引方向θに対するレーザレーダ
装置２１からの検出距離Ｌを示した図であり、図９と同
一のものの画像は同じ符号に「″」を付けて示してい
る。図１１においては、先行車両に取り付けられたリフ
レックス・リフレクタ４７ａ″、４７ｂ″、左右の路側
帯に設けられた反射器４１″、４３″およびセンターラ
イン５５″が示されている。

【００１９】以下、図９〜図１１に基づいて説明する。
図１０に示す前方画像では、先行車両４５の画像４５′
は図示した位置に図示した大きさで表示されるが、この
表示される位置および大きさは、テレビカメラ２３の画
角範囲や倍率が固定であれば、テレビカメラ２３の中心
軸に対する先行車両４５の方向角度θｃから画像左右方
向（Ｘ方向）の位置が決まり、距離Ｌｃから画像上下方
向（Ｙ方向）の位置が決まる。また画像４５′の大きさ
は距離Ｌｃに反比例する。したがって、注目領域だけを
画像処理して先行車両を検出するには、信号処理回路３
１において、反射器４７ａ、４７ｂまでの距離および角
度から車両前方画像における画像処理を行なうべき注目
領域を、図１２に示すような以下の計算方法で決定すれ
ばよい。（１）反射物の検出角度θ（車体中心線５５からの角
度、前記のθｃに相当）に応じて、注目領域の中心点Ｐ
の左右方向（Ｘ方向）の位置（Ｘ０）を決定する。（２）反射物の検出距離Ｌ（前記のＬｃに相当）に応じ
て、注目領域の中心点Ｐの上下方向（Ｙ方向）の位置
（Ｙ０）を決定する。（３）反射物の検出距離Ｌに反比例して、注目領域の左
右方向の幅ｗおよび上下方向の幅ｈを決定する。（４）注目領域は、以下の２点を対角の２頂点とする長
方形領域とする。点Ａ……（Ｘ０−ｗ／２、Ｙ０−ｈ／２）点Ｃ……（Ｘ０＋ｗ／２、Ｙ０＋ｈ／２）上記のごとく、本実施例における注目領域（画像処理領
域）の決定は、距離検出が行なわれた方向から所定角
度範囲内に領域を設定し（Ｘ方向）、検出距離が大き
いほど画像処理領域を画面の上方に設定し（Ｙ方向）、
検出距離が大きいほど画像処理領域の面積を小さく設
定するものである。

【００２０】次に、図１３は、図８の実施例における処
理手順を示すフローチャートである。以下、図１３に基
づいて図８に示す実施例の全体の作用を説明する。図１
３に示す処理手順は、大別すると、掃引角度毎の検出距
離を算出して記憶する角度・距離算出部１０１と、テレ
ビカメラから自車両前方の画像を取り込む画像取り込み
部１０３と、取り込まれた画像の画像処理を行なう領域
を決定し、その領域で画像処理を行なって先行車両を認
識する先行車両検出部１０５と、先行車両がある場合に
は算出された先行車両の位置を出力する先行車両位置出
力部１０７に分けられる。

【００２１】以下、処理手順を詳細に説明する。角度・
距離算出部１０１では、まず、ステップ１２１、１２３
で処理用の変数ｋとｊを０にしている。すなわち、レー
ザの掃引は、角度−θＭ〜θＭの範囲で行なわれるが、
この間を２θＭ／Ｋmax毎にレーザを出力し、一回の掃
引あたりＫmax回の出力が行なわれる。変数ｋはこの一
回の掃引におけるレーザ出力の番号であり、最大値はＫ
maxである。また変数ｊは一回の掃引において、距離検
出があった回数である。次に、ステップ１２５で自車両
の走行車速を車速センサ３９から読み込む。次に、ステ
ップ１２７〜１４１はループとなっており、このループ
が一回のレーザ出力毎に行なわれ、一回分掃引が終了す
ると、ステップ１４１から次の車両判別部１０３へ進
む。このループ内ではまず、掃引角θをレーザ光掃引方
向検出装置１１から読み込み（ステップ１２７、１２
９）、距離検出回路１９から検出距離Ｌを読み込み（ス
テップ１３１）、距離検出がなければステップ１３９へ
進み、距離検出があればステップ１３５へ進む（ステッ
プ１３３）。ステップ１３５、１３７では、距離検出の
あった場合だけ配列Ｄ（ｊ）にデータを取り込む。配列
Ｄ（ｊ）は、角度θと距離Ｌの２つのデータを記憶する
ための配列であり、得られた角度θと距離Ｌを入力す
る。その後、次の掃引角度指令値を出力（ステップ１３
９）したのち、ステップ１４１でｋの値をＫmaxと比較
し、ｋがＫmax未満であれば今回の掃引はまだ終わりで
ないためステップ１２７へ戻り、そうでなければ今回の
掃引によるデータは全て検出、取得されたとして、今回
の掃引における距離検出のあった回数をＪmaxに代入し
（ステップ１４３）、次の画像取り込み部１０３へ進
む。

【００２２】次に、画像取り込み部１０３では、テレビ
カメラ２３から自車両前方の画像を取り込む。次に、先
行車両検出部１０５では、まず、処理のための変数ｊを
０にする（ステップ１４５）。次のステップ１４７〜１
５５が検出された反射体毎の処理ループを構成してい
る。まずステップ１４７では、検出された角度・距離情
報の配列Ｄ（ｊ）＝（θ，Ｌ）から画像処理を行なう注
目領域を決定する。この決定方法は前述した通りであ
り、以下のように算出する。（１）中心点ＰのＸ座標：Ｘ０＝Ｋ１×θ （Ｋ１は定数）（２）中心点ＰのＹ座標：Ｙ０＝Ｋ２×Ｌ＋Ｔ１（Ｋ２、Ｔ１は定数）（３）左右方向の幅：ｗ＝Ｋ３／Ｌ上下方向の幅：ｈ＝Ｋ４／Ｌ（Ｋ３、Ｋ４は定数）（４）注目領域の各頂点の座標算出点Ａ……（Ｘ０−ｗ／２、Ｙ０−ｈ／２）点Ｃ……（Ｘ０＋ｗ／２、Ｙ０＋ｈ／２）次のステップ１４９においては、決定された注目領域に
関して画像処理を行なう。ここでは、例えばエッジ検
出、二値化等の処理を行なって次のステップ１５１で車
両の形状（ほぼ四角）を認識し易くなるような処理を行
なえばよい。次に、ステップ１５１では画像処理後の画
像に先行車両の形状が含まれるかどうかを検出する。こ
れには、あらかじめ車両と見なせるような形状パターン
（例えば長方形）を記憶しておいて、画像処理後の画像
にこの形状パターンが含まれているかどうかを判別する
ことで先行車両の認識が可能となる。例えば、距離デー
タが得られた反射体が道路の路側帯に設けられた反射器
４１、４３等のような車両以外であった場合には、その
周りを注目領域として画像処理、先行車両認識を行なっ
ても記憶された形状パターンに合致する画像は得られな
いため、先行車両ではないと認識される。この先行車両
認識処理（ステップ１５１）が終了すると、次の反射体
データに対して同じ処理を行ない、今回の掃引における
データ数に達するまで繰り返す。

【００２３】最後に先行車両位置出力部１０７に進み、
ステップ１５７において先行車両の検出があったかどう
かを判別し、先行車両がある場合には、その先行車両の
位置、すなわち角度・距離情報Ｄ（ｊ）を出力する。

【００２４】以上説明したように、本実施例によれば、
反射体までの距離と方向を検出し、その結果に応じて画
像認識における処理領域を設定するように構成したこと
により、先行車両の位置を確実に検出することが可能に
なると共に、画像処理を行う領域を狭い範囲に限定する
ことが出来るので、超高速計算機なしで実用的に実現す
ることが出来る。したがって車両の自動走行装置や他車
両への接近警報装置等に適用することによって、より精
度の高い自動走行や、適切な警報を発生することができ
る、という効果が得られる。

【００２５】

【発明の効果】以上説明してきたように、本発明によれ
ば、車外の物体までの距離と方向の情報に基づいて画像
処理手段における画像処理方法を設定するように構成し
たことにより、（１）画像処理を行なう物体が特定さ
れ、その物体に応じた処理を行なえば良いので、処理系
が簡素になる、（２）処理速度の向上が見込まれる、
（３）画像処理が最適になるように画像情報を調節でき
るため、より正確な物体の特徴抽出が可能となる、
（４）処理方式の変更が任意に設定できるため、環境に
応じた処理方式が選択できる、（５）車両運転時の警報
や、車両の走行制御のために必要な情報を正確に得るこ
とができる、（６）距離測定や画像処理だけでは検出不
可能な接近車両の挙動（例えば、車線変更の意思）を検
知することができる、（７）本発明の画像処理装置を適
用することにより、物体に対する距離、方向、特徴が得
られるため、衝突防止装置等の運転支援装置や、自律走
行車用の画像処理システムの性能を向上させることが出
来る、等の効果が得られる。また、本発明を先行車両検
出装置に適用したものにおいては、反射体までの距離と
方向を検出し、その結果に応じて画像認識における処理
領域を設定するように構成したことにより、先行車両の
位置を確実に検出することが可能になると共に、画像処
理を行う領域を狭い範囲に限定することが出来るので、
超高速計算機なしで実用的に実現することが出来る。し
たがって車両の自動走行装置や他車両への接近警報装置
等に適用することによって、より精度の高い自動走行
や、適切な警報を発生することができる、という効果が
得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック図。

【図２】車両と車外の物体との位置関係を示す図であ
り、（ａ）は上面図、（ｂ）は側面図。

【図３】距離測定結果の一例を示す図表。

【図４】図１の装置における処理手順を示すフローチャ
ート。

【図５】本発明の第２の実施例のブロック図。

【図６】本発明の第３の実施例のブロック図。

【図７】本発明を先行車両検出装置に適用した場合の機
能ブロック図。

【図８】本発明を先行車両検出装置に適用した場合の実
施例のブロック図。

【図９】自車両が緩い右カーブを走行中の状態を模式的
に示す平面図。

【図１０】図９の状態においてテレビカメラから取り込
まれた車両前方画像を示す図。

【図１１】レーザ光掃引方向検出装置から出力された掃
引方向θに対するレーザレーダ装置からの検出距離Ｌを
示した図。

【図１２】画像処理を行なうべき注目領域を決定する方
法を説明するための図。

【図１３】図８の実施例における処理手順を示すフロー
チャート。

【図１４】従来の車両用画像処理装置の一例図。

【符号の説明】

１…反射体検出手段１１…レーザ光掃
引方向検出装置３…撮影手段１３…レーザ光掃
引装置５…画像処理領域設定手段１５…送光器７…画像処理認識手段１７…受光器９…先行車位置出力手段１９…距離検出装
置２１…レーザレーダ装置２９…画像処理
装置２３…テレビカメラ３１…信号処理
回路２５…画像処理回路３３…車両運動
制御回路２７…先行車両位置出力回路３５…アクチュ
エータ３７…スロットル、ブレーキ、ハンドル等の操縦装置６０、６６、７０…距離測定手段６５…車外の物
体６１、６７、７６…判断手段７１…車速セン
サ６２、６８、７４…イメージセンサ７２…舵角セン
サ６３、６９、７７…画像処理手段７３…ヒューマ
ンインターフェイス６４…車両７５…判断基準
設定手段

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00,7/00 G08G 1/16 G01B 11/00 - 11/30

Claims

(57)【特許請求の範囲】

【請求項１】車両に搭載され、車両周囲の画像情報を入
力するイメージセンサと、車外に存在する単一あるいは複数の物体までの距離と方
向の情報を求める距離測定手段と、上記距離と方向の情報に基づいて、上記物体の存在する
領域周辺を画像処理を行なう領域として決定する処理、
または上記物体のうちの何れかを画像処理を行なう対象
物として決定する処理の何れか一方を含む画像処理方法
を判断して設定する判断手段と、上記イメージセンサで求めた画像情報に対して、上記判
断手段で設定した画像処理方法に基づいて画像処理を行
なう画像処理手段と、を備えたことを特徴とする車両用画像処理装置。
【請求項２】上記判断手段は、画像を拡大・縮小・方向
転換・焦点調整する処理のうちの少なくとも一つの処理
を含む画像処理方法を判断して設定するものであること
を特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】上記イメージセンサは、上記判断手段で設
定した拡大・縮小・方向転換・焦点調整の処理に応じて
画像中の詳細な画像処理が必要な予め定めた物体を拡大
・縮小・方向転換・焦点調整するものであることを特徴
とする請求項２に記載の車両用画像処理装置。
【請求項４】自車両の走行状態を検出する測定手段を備
え、上記判断手段は、上記測定手段の検出結果に応じて車両
の走行環境を判断し、判断した走行環境に対して予め定
めた物体を画像処理を行なう対象物として決定するもの
であることを特徴とする請求項２または請求項３に記載
の車両用画像処理装置。
【請求項５】所定角度範囲を掃引しながら自車両の走行
方向に電磁波を放射し、反射体からの反射波を受信し、
所定の掃引角度毎に電磁波の放射から受信までの伝播遅
延時間に基づいて反射体までの距離を算出することによ
り、自車両から反射体までの距離と方向を検出する反射
体検出手段と、自車両の走行方向前方の風景を撮影する撮影手段と、上記撮影手段によって撮影された車両前方の画像を処理
して前方に存在する先行車両を検出する画像認識手段
と、上記画像認識手段における画像処理領域を、上記反射体
検出手段から検出された距離および方向に応じて設定す
る画像処理領域設定手段と、上記画像処理認識手段によって先行車と認識された反射
体までの距離または方向もしくはその両方を出力する先
行車位置出力手段と、を備えたことを特徴とする車両用画像処理装置。