JP2611325B2

JP2611325B2 - 車両用道路認識装置

Info

Publication number: JP2611325B2
Application number: JP63092192A
Authority: JP
Inventors: 博彦柳川; 英彦赤塚
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 1988-04-14
Filing date: 1988-04-14
Publication date: 1997-05-21
Anticipated expiration: 2012-05-21
Also published as: JPH01263800A

Description

【発明の詳細な説明】発明の目的［産業上の利用分野］本発明は、車両周囲の車外の画像から道路を認識する
車両用道路認識装置に関する。

［従来の技術］車載のテレビカメラ等の撮像手段を用いて車両前後方
向の視野を撮像し、その画像に含まれる各種情報を取り
出して利用する装置がいくつか提案されている。例え
ば、特開昭59−127200号公報には、画像から道路標識を
認識する「車載交通標識報知装置」が開示されている。
また、軍用の車両として、平坦な領域を検出して自動走
行する無人戦車等の開発も行なわれている。

［発明が解決しようとする課題］しかしながら、道路標識等は走行している車両に対し
て常に一定の位置関係を有するとは限らないため、道路
標識を直接認識しようとすることは極めて困難であると
いう問題があった、従って、こうした技術を実現化する
ためには、走行する車両に対してほぼ一定の位置関係を
有する対象を特定し、それを確実に認識する装置が不可
欠である。かかる対象としては、道路が好適と考えられ
るが、道路を正確に認識する装置は従来提案されていな
い。

また、一般車両の自動走行、例えば走行車を追尾する
ような自動走行では、平坦路であるか否かの判断だけで
は不十分であり、走行用の道路、更には走行レーンを正
しく認識する必要がある。こうした視点からも、道路を
正確に認識する装置が必要となるが、道路には、道幅の
相違，交差点の有無、直線路・カーブ，高低等があり、
更に横断歩道のように白色の部位や陸橋等の影が映った
暗い部分等があり、画像処理によりこれを認識すること
は、極めて困難であった。

本発明は、上記課題を解決し、車外の画像から領域を
抽出することによって道路を好適に認識することを目的
とする。

発明の構成かかる目的を達成する本発明の構成について以下説明
する。

［問題点を解決するための手段］本発明の車両用道路認識装置は、第１図に例示するよ
うに、車両M1周囲の車外を撮像する撮像手段M2と、該撮像手段M2によって撮像された画像に存在する一以
上の領域を抽出する領域抽出手段M3と、該抽出された領域の内から、少なくとも該領域の形態
に基づいて、道路に相当する領域を判定する道路領域判
定手段M4と、該判定された道路領域の色彩や形状等の属性を記憶す
る属性記憶手段M5と、前記領域抽出手段により抽出された領域の中で、該領
域の属性が前記属性記憶手段に記憶された属性と同一で
あるか又は連続性を有するとみなせる領域を、前記道路
領域判定手段にて判定された道路領域に連結して、該道
路領域を修正する領域修正手段M6とを備えたことを要旨とする。

ここで、領域の抽出を行なう手段M3は、例えば撮像さ
れた画像に対して微分処理や骨格抽出処理等を施してエ
ッジを検出し、エッジによって囲まれた範囲を領域とし
て抽出する構成や、多段階に設定された色彩，明度の各
範囲に入るところを各々領域とし抽出する構成など、領
域抽出の種々の手法を実現するものとして構成すること
ができる。

道路領域を判定する手段M4は、例えば車外画像から抽
出された領域のうち予め定めた大きさ以上の領域を道路
と判定する構成、画像中央下部に位置し略台形状の領域
を道路と判定する構成、あるいは経時的な形状変化の小
さな領域を道路と判定する構成などにより実現すること
ができる。

また、道路領域の属性を記憶する手段M5は、例えば道
路と判定された領域の色彩，明度，テクスチャもしくは
それらの分布あるいは形状上の特徴等のひとつまたはそ
の組合せを属性として記憶する構成等とすることができ
る。

領域修正手段M6は、例えば、属性記憶手段M5が道路領
域の属性として領域の色彩を記憶する場合には、領域抽
出手段M3により抽出された領域の中で、該領域の色彩が
属性記憶手段M5に記憶された属性（色彩）と同一である
とみなせる領域を道路領域に連続し、また、属性記憶手
段M4が道路領域の属性として領域の形状を記憶する場合
には、領域抽出手段M3により抽出された領域の中で、該
領域の縁が、道路領域の縁を延長した線によく適合する
領域を道路領域に連結するように構成できる。

［作用］上記構成を有する本発明の車両用道路認識装置は、撮
像手段M2により撮像された車両M1周囲の車外の画像か
ら、この画像に存在する一以上の領域を、領域抽出手段
M3により抽出する。こうして抽出された領域の内から、
少なくとも領域の形態に基づいて、道路領域判定手段M4
により、道路に相当する領域を判定し、その道路領域の
色彩や形状等の属性を、属性記憶手段M5に記憶する。更
に、本発明の車両用道路認識装置では、領域修正手段M6
が、領域抽出手段M3が抽出した領域の中から、その領域
の属性が属性記憶手段M5に記憶された属性と同一である
か又は連続性を有するとみなされる領域を、道路領域判
定手段M4により道路に相当する判定された領域に連結す
ることで、該道路領域の修正を行う。

［実施例］以上説明した本発明の構成・作用を一層明らかにする
ために、以下本発明の車両用道路認識装置の好適な実施
例について説明する。第２図は本発明第１実施例として
の車両用道路認識装置の概略構成図、第３図は同じく画
像処理装置を中心に概略構成を示すブロック図である。

図示するように、この車両用道路認識装置は、車両１
の前方を撮像するCCDを用いたフルカラーのテレビカメ
ラ３と、テレビカメラ３により撮像された画像を処理す
る画像処理装置５と、処理された後の画像を乗員に視認
し得るよう映し出すカラーモニタ７とから構成されてい
る。画像処理装置５は、周知のCPU11,ROM12,RAM13,画像
メモリ（以下、VRAMと呼ぶ）15等から算術論理演算回路
として構成されている。この画像処理装置５には、これ
らCPU11等のほか、バス17を介してこれらに相互に接続
された画像信号入力ポート18,入力回路19,CRTC20、更に
はテレビカメラ３からのRGB信号を各色毎にディジタル
信号に変換するA/D変換器22等を備えている。

入力回路19には、確認用スイッチ25が接続されてい
る。このスイッチ25は、後術する道路認識処理におい
て、乗員による最終的な判断を求める際に使用される。
CPU11は、入力回路19を介してこのスイッチ25が操作さ
れたか否かを随時読み取ることができる。画像信号入力
ポート18は、A/D変換器22に接続されており、テレビカ
メラ３からの画像信号を遂次読み込んで、VRAM15の所定
の領域に展開する。従って、CPU11は、このVRAM15の所
定アドレスをアクセスすることにより、車外の画像を自
由に処理することができる。CRTC20は、カラーモニタ７
に接続されており、CPU11からの指示を受けて、VRAM15
内の所定の領域に展開された画像処理後の画像データを
読み出し、これをカラーモニタ７に表示する。

以上の構成を有する本実施例の車両用道路認識装置に
おける道路認識処理について説明する。本実施例の装置
は、第４図に示す道路認識処理ルーチンを実行する。電
源投入後、まず、画像信号入力ポート18によりテレビカ
メラ３が撮像する車外の画像を入力する処理を行なう
（ステップ100）。入力された画像データは、上述した
通り、VRAM15の所定の領域に展開される。取り込んだ画
像の一例を第５図（Ａ）に示す。続いて、取り込んだ画
像データに対して、例えばラプラシアンオペレータ等の
周知の空間フィルタを施すことにより二値化し、撮像し
た画像からエッジを抽出する処理を行なう（ステップ11
0）。エッジ抽出により、画像は、エッジとそれ以外の
部分とに二値化される。エッジの抽出を行なった後、エ
ッジの拡大・縮小の処理を行なうことにより、本来生じ
るはずのエッジが画像取り込みの過程で欠落しているよ
うな部位をつなぎ合わせる処理を行なう（ステップ12
0）。こうしたエッジ抽出・処理の結果の一例を第５図
（Ｂ）に示す。

エッジの修復を行なった後、エッジで囲まれた部分を
ひとつの領域として取り出す処理を行なう（ステップ13
0）。エッジで囲まれた領域の取り出しは、道路が存在
する確率の高さを考慮して、画面の下部に存在する領域
から順に行ない、エッジを時計方向回りにトレースする
ことにより、その領域の面積の算出を併せて行なう。続
いて、こうして抽出された領域が道路に相当するか否か
について判断する。本実施例では、抽出された領域につ
いて、ステップ130で算出されたその面積が画面全体の1
/10以上であり（ステップ140）、かつその領域の存在す
る位置が道路に対応した位置であると判断されたとき
（ステップ150）、その領域を道路に相当する領域と判
断する。画面全体に対して道路が占めるべき面積は、車
両１のどの部位にテレビカメラ３が設けられているか、
またその抑角や倍率、あるいは道路の勾配変化等により
異なり、判断の基準となる割合は、実験的に定められ
る。また、領域の位置についての判断は、本実施例で
は、その領域が画面の最下部から中央部にかけて存在す
るか否かにより行なう。テレビカメラ３を車両１の前部
に設けた場合、道路は通常この位置に撮像されるからで
ある。

抽出した領域が道路に相当しなければ、画面に存在す
る領域を総て抽出・判断したか否かを判断し（ステップ
160）、全領域の判断が済んでいなければステップ130の
処理に戻って次の領域についての判断を続行する。一
方、全領域についての判断が終了した場合には（ステッ
プ160）、ステップ100に戻って新たな画像の入力から再
度実行する。

ステップ130ないし150の処理により、抽出した領域が
道路であると判断された場合には、カラーモニタ７にこ
れを表示する処理を行なう（ステップ170）。この場合
には、道路として抽出した領域に視認性の高い処理（例
えば、黄色の彩色やその領域の点滅）を施して、撮像し
た原画像に重ねて表示すれば、一目でこれを認識するこ
とができ好適である。この例を、第５図（Ｃ）に示す。
図において、ハッチングされた領域は、カラーモニタ７
上では、黄色に彩色されている。

こうしてカラーモニタ７に示した領域を道路領域とし
て最終的に判断してよいか否かを、確認用スイッチ25の
操作により判定する（ステップ180）。一定期間内に確
認用スイッチ25が操作された場合には、カラーモニタ７
上に表示した領域を道路と判断してよいとして、この領
域の属性、本実施例では道路幅Ｌとその色彩とを、RAM1
3の所定のエリアに格納する（ステップ190）。

以上の処理により、道路の初期認識が終了したとし
て、ステップ200以下、道路領域の属性を用いた道路の
認識を継続する。まず、初期認識処理におけるステップ
100,110,120と同様、テレビカメラ３の撮像した画像の
入力（ステップ200），エッジの抽出（ステップ210），
エッジの修復（ステップ220）を行ない、続いてRAM13に
記憶した属性のひとつである道路幅Ｌを用いて検出点の
設定を行なう（ステップ230）。検出点SPは、第６図
（Ａ），（Ｂ）に示すように、道路幅Ｌの1/2の点とし
て設定される。道路は、カーブに差し掛かったりすれば
その形状は変化するが、画面最下部を占める幅には大き
な変化はないことに着目して、このように検出点SPを設
定し、この検出点SPの存在する領域から、領域の抽出を
開始するのである。検出点SPは、抽出した領域が道路と
認識できなければ、次々と上方の領域に移動されて新た
な領域の抽出が行なわれるが、検出点SPが画面の最上部
に至った場合には（ステップ240）、再び画像の入力
（ステップ200）から上述した処理を繰り返す。

検出点SPが画面の上部まで至っていなければ、その検
出点SPが存在する領域を抽出し（ステップ250）、その
領域の面積が画面全体の1/10以上であるか否かの判断を
行なう（ステップ260）。面積が道路に相当する大きさ
以下であれば、検出点SPの設定（ステップ230）から上
述した処理を繰り返す。

抽出した領域の面積が画面の1/10以下の割合を占めて
いれば、次にその領域の属性のひとつである色彩につい
て判断する（ステップ270）。その領域の色彩がステッ
プ190においてRAM13に記憶した道路の色彩と同一とみな
すことができれば、その領域は道路であると判断し、こ
の領域が画面中央部まで連続しているか否かの判断（連
続性の判断）を行なう（ステップ280）。画面中央部ま
で連続していれば、道路とみなして、その領域をカラー
モニタ７上に道路として表示する（ステップ290）。こ
の一例を第５図（Ｄ）に示す。

現実の路上で撮像する場合には、道路に映じた陸橋や
建物、電柱等の影によりエッジを生じて道路領域が分断
されたていたり、あるいは横断歩道やセンタライン等の
白いラインによりエッジが生じて領域が分断されていた
りすることがある。こうした例を第５図（Ｅ）に示す。

道路領域が分断されている場合には、道路に相当する
面積と色彩とを有すると判断された領域でも画面中央部
まで連続していないことがある。そこで、連続性がない
と判断された場合（ステップ280）には、分断された領
域の上部もしくは下部に検出点SPを移動して領域の抽出
を行ない（ステップ300）、その領域と先に道路と判定
された領域との色彩を比較する処理を行なう（ステップ
310）。両領域の色彩が同一とみなせる場合には両領域
を結合し（ステップ320）、再び連続性の判断を行なう
（ステップ280）。結合してもその領域が画面中央部ま
で連続していない場合には、更にその領域の上下の領域
が同一色とみなすことができないか判断を続け、同一の
色彩の領域がもはやないか、連続性の判断が満たされる
まで繰り返す（ステップ280,300,310,320）。連続性が
満足された場合、もしくはもはや同一色の領域が存在し
なくなった場合には、それまでの判断の結果、道路と認
識できた領域をカラーモニタ７に出力し（ステップ29
0）、再び画像入力処理（ステップ200）から、上述した
処理（ステップ200ないし320）を繰り返す。

以上のように構成された本実施例の車両用道路認識装
置によれば、車両１前部に設けられたテレビカメラ３に
よって撮像された画像に基づいて、道路に相当する領域
を抽出した後、この領域の幅、色彩といった属性を記憶
し、以後この記憶された属性と同一の属性を有する領域
を、先に道路に相当するとして抽出された領域に結合す
ることで、該道路領域の修正を行う。従って、本実施例
の道路認識装置は、極めて正確かつ継続して道路を認識
することができ、認識した道路を、カラーモニタ７に表
示することができる。従って、車両乗員は、ガードレー
ルや電柱、広告塔その他の挟雑物も同時に認識される目
視に加えてカラーモニタ７に表示された道路パターンを
視認することができ、運転の安全性の向上に寄与するこ
とができる。

更に、本実施例の道路認識装置を用いれば、道路の認
識に基づく信号機等の道路標識の認識装置や、先行車を
追尾する自動追尾走行装置、あるいはレーンをキープし
て走行するキープレーン走行装置等に適用することがで
きる。

次に、本発明の第２実施例としての車両用道路認識装
置とこれを適用した道路俯瞰図表示装置について説明す
る。この道路俯瞰図表示装置は、第１実施例の車両用道
路認識装置と同様のハードウェア構成（第３図参照）を
備え、その処理のみ異なるものである。即ち、本実施例
の道路俯瞰図表示装置は、第７図の俯瞰図表示処理ルー
チンのフローチャートに示すように、まず、第１実施例
のステップ100ないしステップ180に相当する初期認識処
理を実行する（第４図参照）。その上で、道路と最終的
に判定された領域の属性として、色彩のほか、その領域
の荒さを記憶する（ステップ390）。領域の荒さとは、
画像処理におけるいわゆるテクスチァであって、本実施
例では、領域の濃淡を二値化された画素の分析（ディザ
法）により表現する際の黒画素の割合として定義してい
る。

こうして道路に相当する領域の初期認識とその属性の
記憶とを行なった後、更に画像を入力し（ステップ40
0）、第１実施例と同様に、入力された画像からエッジ
の抽出とその修復とを行なう（ステップ415）。こうし
て得られた領域について、第１実施例と同様（第４図ス
テップ230ないし320）、道路領域の属性に基づいて修正
を行ない領域を結合する（ステップ425）。但し、本実
施例では第１実施例と異なり、画像の色彩に代えて領域
の荒さにより修正・結合を行なう。この結果、本実施例
では、カラーのテレビカメラ等を用いる必要がなく、画
像処理の簡略化を図ることができる。

こうした修正・結合を行なった後、第１実施例と同
様、道路領域の抽出を行ない（ステップ435）、得られ
た道路領域の形状に基づいて、認識した道路が直線道路
か否かの判断を行なう（ステップ445）。直線道路か否
かの判断は、認識した道路領域の左右端が直線とみなせ
るか否かにより容易に判断することができる。直線道路
でなければ次式（１），（２），（３）により、一方直
線道路の場合には次式（１），（４），（５）により、
各々認識した道路領域の座標について座標変換を行なう
（ステップ455,465）。

道路領域の認識のなされた画像は、テレビカメラ３の
視野に存在した３次元空間を２次元平面に展開したもの
である。この平面を以下イメージ平面と呼ぶが、その座
標を（x,y）と表すものとし、実空間の座標を（X,Y,Z）
と表すものとする。このとき、両座標間には、第８図に
示すように、テレビカメラ３の路面からの高さをＨと
し、テレビカメラ３からイメージ平面までの距離をｆと
すると、次式（１）の関係が存在する。

そこで、この式（１）に従って、イメージ平面から実
空間への座標変換を行ない、道路の座標、即ち道路左端
や右端等の座標（X,Y,Z）を求めることができる。但
し、かかる変換は、テレビカメラ３によりとらえられた
道路が勾配変化等を含まない２次元平面であると仮定し
た場合に、正しく成立するものである。

こうして求めた道路の座標（X,Y,Z）に基づいて、道
路に対する車両の相対位置や道路の左右端の方程式が算
出される。道路が曲率R1,R2であるような場合（第９図
参照）、あるいは車両１に対して角θをなす直線道路で
ある場合（第10図参照）、その左端，右端を実空間上で
表す方程式は、次式（２），（３）及び式（４），
（５）となる。尚、各式W1,W2は各々道路左右端に対す
る車両１の距離を示す。

曲線道路の場合・道路の左端 Z²＋（Ｘ＋R1＋W1）^２＝R1² H²x²＋2xyH（R1＋W1）−（2R1W1−W1²）y²＝−f²H² …
（２）・道路の右端 Z²＋（Ｘ＋R2＋W2）^２＝R2² H²x²−2xyH（R2＋W2）−（2R2W2＋W2²）y²＝−f²H² …
（３）直線道路の場合・道路の左端・道路の左端こうして求めた道路左右端の方程式と撮像された画像
から抽出された道路領域の左右端の座標とを比較し（ス
テップ475）、両者が一致しない場合には、位置補正を
行なう（ステップ485）。両者が一致しないのは、（Ａ）道路が勾配変化を伴う登り板または下り板を含ん
でおり、平面近似ができない場合、（Ｂ）画像信号に含まれるノイズにより誤差が生じてい
る場合、（Ｃ）交差点や分岐点を含んでいる場合、等である。こうした場合には、正確な道路の位置を認識
できないことが考えられる。そこで、この場合には、道
路幅が一定という条件やそれまでに処理した画面の道路
位置の情報を用いて、道路位置の補正を行なうのであ
る。例えば上記（Ａ）のケースでは、イメージ平面上で
のｙの値が変化するため、実空間における座標にずれが
生じる。この場合には、道路幅Ｗが一定であるという条
件を用い、次式（６）が成立するように座標ｙを補正す
る。

Ｗ＝X2−X1＝x1・H/y1−x2・H/y2 …（６）尚、道路幅は通常画面に対して平行であるから、この
場合には、y1＝y2である。また、上記（Ｂ）のケースで
は、道路の左右端は滑らかな直線もしくは曲線であると
の近似を利用して平滑化を行なう。更に、上記（Ｃ）の
場合には、道路領域の認識により得られた道路領域の形
状から交差点や分岐点を含んでいるか否かを判断し、含
んでいると判断された場合には、予め記憶した交差点等
の形状の情報を重ね合わせることにより補正することが
できる。

こうして位置の補正を施した後、あるいはステップ47
5の判断において式と画像データとが一致している場
合、以上の処理により得られた実空間の道路の座標に基
づいて道路の俯瞰図と車両の位置とを求め（ステップ49
0）、これをカラーモニタ７に表示する（ステップ49
5）。俯瞰図の一例を第11図に示す。

以上説明したように、本実施例の車両用道路認識装置
によれば、白黒のテレビカメラ３によって撮像された画
像から道路を認識することができる。更に、認識された
道路に基づき、この車両用道路認識装置を適用した俯瞰
図表示装置によって、道路の実空間における形状を勾配
変化等を補正して正確に求めることができる。更に、本
実施例では、これをモニタ７上に俯瞰図として、車両１
の位置と共に表示することができる。従って、車両乗員
は、この情報を利用することができ、車両運転上の安全
性を一層向上させることができる。また、こうして得ら
れた道路３次元形状および車両の道路に対する位置関係
は、図示しないキープレーン走行装置等、種々の装置で
利用することができる。かかる装置に用いれば、運転の
自動化、半自動化、あるいは追突等の事故防止等を実現
することもできる。

次に、本発明の第３実施例としての車両用道路認識装
置を用いた信号機認識装置について説明する。第12図
は、この信号認識装置の概略構成を示すブロック図であ
る。図示するように、本実施例の装置は、第１実施例の
車両用道路認識装置とほぼ同一の構成であるテレビカメ
ラ503,画像処理装置505,カラーモニタ507の構成に加え
て、車速を検出する車速センサ508,ブレーキ操作量を検
出するブレーキセンサ509および警報装置510を備える。
更に、画像処理装置505の内部も、第１実施例とほぼ同
一の構成を有し、CPU511,ROM512,RAM513,VRAM515,入力
回路519,CRTC520,A/D変換器522の他に、出力回路525を
備える。車速センサ508,ブレーキセンサ509は、画像処
理装置505の入力回路519に接続されており、警報装置51
0は出力回路525に接続されている。

かかる構成を有する信号機認識装置の処理について説
明する。第13図は、本実施例の画像処理装置505が実行
する信号機認識・警報処理ルーチンを示すフローチャー
トである。本ルーチンが起動されると、まず、第１実施
例のステップ100ないしステップ180に相当する初期認識
処理が実行される（第４図参照）。その上で、道路と最
終的に判定された領域の属性として、色彩と共にその領
域の形状を記憶する（ステップ590）。領域の形状デー
タとは、本実施例では、領域の左右の縁の方程式として
定義されたデータである。

こうして道路に相当する領域の初期認識とその属性の
記憶とを行なった後、更に画像を入力し（ステップ60
0）、第１実施例と同様に、入力された画像からエッジ
の抽出とその修復とを行なう（ステップ615）。こうし
て得られた領域について、第１実施例と同様（第４図ス
テップ230ないし320）、道路領域の属性に基づいて修正
を行ない領域を結合する（ステップ425）。但し、本実
施例では第１実施例と異なり、画像の色彩による結合と
共に領域の形状による修正・結合をも行なう。即ち、領
域の色彩が予め記憶された属性としての色彩とある程度
相違する場合でも、基本となる領域の左右の縁をその方
程式にしたがって延長した線に対し、隣接する領域の左
右の縁がよい適合を示す場合には、両領域を結合するの
である。この結果、本実施例では、補修工事等により道
路の色彩が異なる路面に遭遇しても、道路領域を正しく
補正することができる。

こうした修正・結合を行なった後、第１実施例と同
様、道路領域の抽出を行ない（ステップ635）、得られ
た道路領域の形状に基づいて、認識した道路に交差点が
含まれるか否かの判断を行なう（ステップ645）。第14
図（Ａ）に示すように、交差点が含まれる場合には、道
路領域GRは、第５図（Ｄ），（Ｅ）に例示したような単
調な形状とはならず、中心部の領域から張り出した領域
を有する独特の形状を示す。そこで、この形状に着目し
て交差点の判別を行ない、交差点が含まれる場合には、
交差点の位置を基準として信号機を認識する処理を行な
う（ステップ655）。信号機は、交差点に対して特定の
位置に存在する確率が極めて高いから、第14図（Ｂ）に
示すように、交差点に対してその斜め上方に設定される
探索領域GSを探索し、信号機の形状、色彩を有する対象
を特定するのである。交差点に対して探索領域GSを設定
して認識を行なうことから、先行車のテールランプやネ
オンサイン等と誤認を生じることがなく、信号機認識の
精度の向上・認識時間の短縮を図ることができる。

こうして信号機を認識した後、信号機が赤信号か否か
の判断を行なう（ステップ665）。信号機の３つのラン
プのうち、点灯しているランプの色が赤と判断された場
合には、入力回路519を介して車速センサ508とブレーキ
センサ509とからの信号を読み込み、車速ブレーキ操作
量とを入力する（ステップ675）。こうして入力された
車速とブレーキの操作量とに基づいて、警報が必要か否
かを判断し（ステップ685）、信号機が赤信号であるに
もかかわらず、車速が所定値以上でありかつブレーキ操
作がなれていない場合には、運転者が信号機に気付いて
いない可能性があるとして、出力回路525を介して警報
装置510を作動させる（ステップ695）。警報装置510
は、単なる警報ブザー等でもよいが、音声合成装置を組
み込み、「赤信号です。速度を落として下さい。」等の
音声により警告するものとしてもよい。更に、それでも
車速が低下しない場合には、内燃機関の出力を低減した
りブレーキを自動的にかけるといった車速低下制御を行
うことも考えることができる。警報装置510を作動させ
た後、あるいは交差点でないか（ステップ645）信号が
赤信号でないか（ステップ665）もしくは警報が必要な
い場合（ステップ685）には、ステップ590に戻って上述
した処理を繰り返す。

以上のように構成された本実施例の車両用道路認識装
置によれば、道路領域を初期処理により道路と判断され
た領域の色彩と形状とから正確に認識することができ
る。従って、この車両用道路認識装置を用いた本実施例
の信号認識装置によれば、認識した道路領域に含まれる
交差点を検出し、この交差点に対して設定される領域を
探索することにより、極めて迅速、容易かつ正確に信号
機を認識することができる。この結果、認識した信号機
を用いて警報装置525から警報を出力することができ、
車両運転上の安全性を一層高いものにすることができ
る。

以上本発明のいくつかの実施例について説明したが、
本発明はこうした実施例に何等限定されるものではな
く、例えば先行車の追尾やキープレーン走行装置に応用
した構成、車両の後尾の画像を処理して道路を認識しこ
れを基に後退走行時の安全性を高める装置や追突や予見
・警告する装置、あるいは道路の属性として画像処理に
よって得られる他の特徴を用いたもの等、本発明の要旨
を逸脱しない範囲において、種々なる態様で実施し得る
ことは勿論である。

発明の効果以上詳述したように、本発明の車両用道路認識装置に
よれば、極めて正確に道路領域を認識することができる
いう優れた効果を奏する。この結果、認識した道路を表
示等することができ、乗員に道路情報等を提供して安全
運転に資することができる。また、道路側に識別装置等
を敷設する必要がないことから、現実に道路認識装置を
車載することが容易となる。従って、車載の他の制御装
置、例えば認識した道路と車両とを俯瞰図表示する装置
や、信号機を認識して安全運転に用いる装置や、自動追
尾走行装置あるいはキープレーン走行装置等における処
理の基準として、本発明の車両用道路認識装置により認
識した道路を用いることができる。このため、これらの
装置の処理の容易化・高精度化を図ることができる。こ
うした装置を現実化することは、車両運転上の安全性の
向上に資することができ、極めて有益である。

【図面の簡単な説明】第１図は本発明の基本的構成を例示するブロック図、第
２図は本発明第１実施例としての車両用道路認識装置の
概略構成図、第３図は同じくそのブロック図、第４図は
第１実施例の画像処理装置が実行する道路認識処理ルー
チンを示すフローチャート、第５図（Ａ），（Ｂ），
（Ｃ），（Ｄ），（Ｅ）は各々道路認識処理により処理
された画像を例示する説明図、第６図（Ａ），（Ｂ）は
検出点SP設定の様子を示す説明図、第７図は本発明第２
実施例としての車両用道路認識装置を用いた俯瞰図表示
装置の処理を示すフローチャート、第８図はイメージ平
面と実空間との関係を示す概念図、第９図は曲線道路で
の座標変換の手法を示す説明図、第10図は直線道路での
座標変換の手法を示す説明図、第11図は本実施例におい
て得られた俯瞰図の一例を示す説明図、第12図は第３実
施例としての車両用道路認識装置を用いた信号機認識装
置の概略構成図、第13図は第３実施例において画像処理
装置が実行する信号機認識・警報処理ルーチンを示すフ
ローチャート、第14図（Ａ），（Ｂ）は交差点の認識と
探索領域GSの設定との様子を示す説明図、である。１……車両３……テレビカメラ５……画像処理装置７……カラーモニタ 15……VRAM 505……画像処理装置 508……車速センサ 509……ブレーキセンサ 510……警報装置 SP……検出点 GS……探索領域

Claims

(57)【特許請求の範囲】

【請求項１】車両周囲の車外を撮像する撮像手段と、該撮像手段によって撮像された画像に存在する一以上の
領域を抽出する領域抽出手段と、該抽出された領域の内から、少なくとも該領域の形態に
基づいて、道路に相当する領域を判定する道路領域判定
手段と、該判定された道路領域の色彩や形状等の属性を記憶する
属性記憶手段と、前記領域抽出手段により抽出された領域の中で、該領域
の属性が前記属性記憶手段に記憶された属性と同一であ
るか又は連続性を有するとみなせる領域を、前記道路領
域判定手段にて判定された道路領域に連結して、該道路
領域を修正する領域修正手段とを備えた車両用道路認識装置。