JP2570378B2 - 車両用標識認識装置 - Google Patents

Description

【発明の詳細な説明】 発明の目的 ［産業上の利用分野］ 本発明は、車両周囲の車外の画像から交通標識，信号
機等の標識を認識する車両用標識認識装置に関する。

［従来の技術］ 車両走行の安全性を高めるために、車載のテレビカメ
ラ等の撮像手段を用いて車両前後方向の視野を撮像し、
その画像に含まれる各種情報を取り出して利用する装置
がいくつか提案されている。例えば、特開昭59−127200
号公報には、画像からの道路認識を認識する「車載交通
標識報知装置」が開示されている。また、信号機等に識
別用の変調光等を発する送信部を設け、この信号を識別
する装置を車載して交通標識や信号機を認識する装置も
提案されている（例えば、特開昭62−95698号公報の
「交通標識の自動識別装置」等）。

［発明が解決しようとする課題］ しかしながら、交通標識や信号機等は走行している車
両に対して常に一定の位置関係を有するとは限らないた
め、交通標識等を直接認識しようとすることは困難であ
るという問題があった。また、交通標識や信号機等から
発信される信号を認識する構成では、車載の装置のほか
に標識毎に信号を発信する手段を取り付けねばならず、
しかも混信の防止と共に一定の範囲の車両にもれなく信
号を伝達せねばならないから、これを現実化することは
極めて困難であった。また、発信器が故障すると、影響
がその信号機の設置してある交差点等を通過する総ての
車両に及ぶという問題があった。

本発明は、上記課題を解決し、車外の画像から交通標
識，信号機等の標識を好適に認識することを目的とす
る。

発明の構成 かかる目的を達成する本発明の構成について以下説明
する。

［問題点を解決するための手段］ 本発明の車両用標識認識装置は、第１図に例示するよ
うに、 車両M1周囲の車外を撮像する撮像手段M2と、 該撮像手段M2によって撮像された画像から、道路領域
を認識する道路領域認識手段M3と、 該認識した道路領域に対して予め定めた位置関係を有
する探索領域内を探索して、走行に関与する交通標識，
信号機等の標識を認識する標識認識手段M4と を備えたことを要旨とする。

ここで、道路領域の認識を行なう手段M3は、撮像され
た画像から道路領域の認識を行なうものであり、例えば
撮像された画像に対して所定の画像処理等を施して画像
に存在するいくつかの領域を抽出し、これらの領域の中
から道路領域に相当する領域を選択する構成や、道路と
して指定された領域の色彩を記憶しその色彩の領域を追
跡する構成等、画像認識の種々の手法を実現するものと
して構成することができる。

標識認識手段M4は、探索領域内に探索して交通標識，
信号機等の標識を認識するものであり、例えば、認識の
対象として予め定められた交通標識や信号機の形状や色
彩等に基づいて認識を行なうものとして構成することが
できる。

［作用］ 上記構成を有する本発明の車両用道路認識装置は、撮
像手段M2により撮像された車両M1周囲の車外の画像か
ら、道路領域認識手段M3により道路領域を認識し、この
道路領域に対して予め沙汰他位置関係を有する探索領域
を探索して、標識認識手段M4により、この領域内に存在
する走行に関与する交通標識，信号機等の標識を認識す
る。このように本発明の車両用標識認識装置は、認識し
ようとする標識についての探索領域を、道路領域に対し
て固有の位置関係を有するものとして設定し、標識の認
識をこの探索領域内で行なうことから、標識の認識を高
精度かつ容易に実現するのである。

［実施例］ 以上説明した本発明の構成・作用を一層明らかにする
ために、以下本発明の車両用標識認識装置の好適な実施
例について説明する。第２図は本発明第１実施例として
の車両用標識認識装置を組み込んだ車両用制御装置の概
略構成図、第３図は同じく電子制御装置を中心に概略構
成を示すブロック図である。

図示するように、この車両用制御装置は、車両１の前
方を撮像するCCDを用いたフルカラーのテレビカメラ２
と、テレビカメラ２により撮像された画像の処理と警報
出力の処理とを行なう電子制御装置３と、車速を検出す
る車速センサ４と、ブレーキペダルの踏込量を検出する
ブレーキセンサ５と、処理された後の画像を乗員に視認
し得るよう映し出すカラーモニタ７と、警報用の音声を
出力する警報装置10とから構成されている。

電子制御装置３は、周知のCPU11,ROM12,RAM13,画像メ
モリ（以下、VRAMと呼ぶ）15等から算術論理演算回路と
して構成されている。これらCPU11等のほか、この電子
制御装置３には、バス17を介して相互に接続された画像
信号入力ポート18,入力回路19,CRTC20,出力回路21、更
にはテレビカメラ２からのRGB信号を各色毎にディジタ
ル信号に変換するA/D変換器22等を備えている。

入力回路19には、車速センサ4,ブレーキセンサ５およ
び確認用スイッチ25が接続されている。このスイッチ25
は、後述する道路認識処理において、乗員による最終的
な判断を求める際に使用される。CPU11は、入力回路19
を介して、車速Ｖおよびブレーキ操作量Ｂと共に、スイ
ッチ25が操作されたか否かを随時読み取ることができ
る。

画像入力ポート18は、A/D変換器22に接続されてお
り、テレビカメラ２からの画像信号を逐次読み込んで、
VRAM15の所定の領域に展開する。従って、CPU11は、こ
のVRAM15の所定アドレスをアクセスすることにより、車
外の画像を自由に処理することができる。こうして処理
された後の画像は、最終的なカラーモニタ７に表示され
るが、カラーモニタ７への表示はCRTC20によって行なわ
れる。CPTC20は、CPU11からの指示を受けて、VRAM15内
の所定の領域に展開された画像処理後の画像データを読
み出し、これをカラーモニタ７に表示するのである。

出力回路21には、警報装置10が接続されている。警報
装置10は、外部からのトリガ信号を受けて予め登録した
いくつかの音声のひとつを再生・出力する装置である。
従って、CPU11は、出力回路21を介して所定のトリガ信
号を警報装置10に出力し、車両乗員に警報音声等を報知
することができる。

以上の構成を有する本実施例の車両用制御装置におけ
る標識の認識処理と警報の処理について説明する。本実
施例の装置は、第４図に示す標識認識・警報処理ルーチ
ンを実行する。電源投入後、まず、画像信号入力ポート
18によりテレビカメラ２が撮像する車外の画像を入力す
る処理を行なう（ステップ100）。入力された画像デー
タは、上述した通り、VRAM15の所定の領域に展開され
る。取り込んだ画像の一例を第５図（Ａ）に示す。続い
て、取り込んだ画像データに対して、例えばラプラシア
ンオペレータ等の周知の空間フィルタを施すことにより
二値化し、撮像した画像からエッジを抽出する処理を行
なう（ステップ110）。エッジ抽出により、画像は、エ
ッジとそれ以外の部分とに二値化される。エッジの抽出
を行なった後、エッジの拡大・縮小の処理を行なうこと
により、本来生じるはずのエッジが画像取り込みの過程
で欠落しているような部位をつなぎ合わせる処理を行な
う（ステップ120）。こうしたエッジ抽出・処理の結果
の一例を第５図（Ｂ）に示す。

エッジの修復を行なった後、エッジで囲まれた部分を
ひとつの領域として取り出す処理を行なう（第４図ステ
ップ130）。エッジで囲まれた領域の取り出しは、道路
が存在する確率の高さを考慮して、画面の下部に存在す
る領域から順に行ない、エッジを時計方向回りにトレー
スすることにより、その領域の面積の算出をを併せて行
なう。続いて、こうして抽出された領域が道路に相当す
るか否かについて判断する。本実施例では、抽出された
領域について、ステップ130で算出されたその面積が画
面全体の1/10以上であり（ステップ140）、かつその領
域の存在する位置が道路に対応した位置であると判断さ
れたとき（ステップ150）、その領域に道路を相当する
領域と判断する。画面全体に対して道路が占めるべき面
積は、車両１のどの部位にテレビカメラ２が設けられて
いるか、またその仰角や倍率、あるいは道路の勾配変化
等により異なり、判断の基準となる割合は、実験的に定
められる。また、領域の位置についての判断は、本実施
例では、その領域が画面の最下部から中央部にかけて存
在するか否かにより行なう。テレビカメラ２を車両１の
前部に設けた場合、道路は通常この位置に撮像されるか
らである。

抽出した領域が道路に相当しなければ、画面に存在す
る領域を総て抽出・判断したか否かを判断し（ステップ
160）、全領域の判断が済んでいなければステップ130の
処理に戻って次の領域についての判断を続行する。一
方、全領域についての判断が終了した場合には（ステッ
プ160）、道路に相当する領域は見いだせなかったとし
て、新たな画像の入力（ステップ100）から上述した処
理を再度実行する。

ステップ130ないし150の処理により、抽出した領域が
道路であると判断された場合には、カラーモニタ７にこ
れを表示する処理を行なう（ステップ170）。この場合
には、道路として抽出した領域に視認性の高い処理（例
えば、黄色の彩色やその領域の点滅）を施して、撮像し
た原画像に重ね併せて表示すれば、一目でこれを認識す
ることができ好適である。この例を、第５図（Ｃ）に示
す。図において、ハッチングされた領域は、カラーモニ
タ７上では、黄色に彩色されている。

こうしてカラーモニタ７に示した領域を道路領域とし
て最終的に判断してよいか否かを、確認用スイッチ25の
操作により判定する（ステップ180）。一定期間内に確
認用スイッチ25が操作されれば、カラーモニタ７上に表
示した領域を道路と判断してよいとして、この領域の属
性、本実施例では道路幅Ｌとその色彩とを、RAM13の所
定のエリアに格納する（ステップ190）。

以上の処理により、道路の初期認識が終了したとし
て、ステップ200以下で、道路領域の属性を用いた道路
の認識を継続する。まず、初期認識処理におけるステッ
プ100,110,120と同様、テレビカメラ２の撮像した画像
の入力（ステップ200），エッジの抽出（ステップ21
0），エッジの修復（ステップ220）を行ない、続いてRA
M13に記憶した属性のひとつである道路幅Ｌを用いて検
出点の設定を行なう（ステップ230）。検出点SPは、第
６図（Ａ），（Ｂ）に示すように、道路幅Ｌの1/2の点
として設定される。道路は、カーブに差し掛かったりす
ればその形状は変化するが、画面最下部の占める幅には
大きな変化はないことに着目して、このように検出点SP
を設定し、この検出点SPの存在する領域から、領域の抽
出を開始するのである。検出点SPは、抽出した領域が道
路と認識できなければ、次々と上方の領域に移動されて
新たな領域の抽出が行なわれるが、検出点SPが画面の最
上部に至った場合には（ステップ240）、今回入力した
画像では道路領域の認識ができなかったとして、再び画
像の入力（ステップ200）から上述した処理を繰り返
す。

検出点SPが画面の上部まで至っていなければ、その検
出点SPが存在する領域を抽出し（ステップ250）、その
領域の面積が画面全体の1/10以上あるか否かの判断を行
なう（ステップ260）。領域の面積が道路に相当する大
きさ以下であれば、検出点SPの設定（ステップ230）か
ら上述した処理を繰り返す。

抽出した領域の面積が画面の1/10以上の割合を占めて
いれば、次にその領域の属性のひとつである色彩につい
て判断する（ステップ270）。その領域の色彩がステッ
プ190においてRAM13に記憶した道路の色彩と同一とみな
すことができれば、その領域は道路であると判断し、こ
の領域が画面中央部まで連続しているか否かの判断（連
続性の判断）を行なう（ステップ280）。連続性が満足
されていれば、その領域は道路領域と認識して良いか
ら、後述するステップ400以下の処理に移行する。こう
して認識された道路領域の一例を第５図（Ｄ）に示す。

現実の路上で撮像する場合には、道路に映じた陸橋や
建物、電柱等の影によりエッジを生じて道路領域が分断
されていたり、あるいは横断歩道やセンタライン等の白
いラインによりエッジが生じて領域が分断されていたり
することがある。こうした例を第５図（Ｅ）に示す。

道路領域が分断されている場合には、道路に相当する
面積と色彩とを有すると判断された領域でも画面中央部
まで連続していないことがある。そこで、連続性がない
と判断された場合（ステップ280）には、分断された領
域の上部もしくは下部に検出点SPを移動して領域の抽出
を行ない（ステップ300）、その領域と先に道路と判定
された領域との色彩を比較する処理を行なう（ステップ
310）。両領域の色彩が同一とみなせる場合には両領域
を結合し（ステップ320）、再び連続性の判断を行なう
（ステップ280）。結合してもその領域が画面中央部ま
で連続していない場合には、更にその領域の上下の領域
が同一色とみなすことができないか判断を続け、同一の
色彩の領域がもはやないか、連続性の判断が満たされる
まで繰り返す（ステップ280,300,310,320）。連続性が
満たされないまま同一色の領域が存在しなくなった場合
には、今回入力した画像には道路に相当する領域が見い
だせなかったとして、再び画像入力処理（ステップ20
0）から、上述した処理（ステップ200ないし320）を繰
り返す。

連続性が満足された場合（ステップ280）には、この
領域が道路であるとし、得られた道路領域の形状に基づ
いて、認識した道路に交差点が含まれるか否かの判断を
行なう（ステップ400）。第７図（Ａ）に示すように、
交差点が含まれる場合には、道路領域GRは、第５図
（Ｄ）に例示したような単調な形状とはならず、中心部
の領域から張り出した領域を有する独特の形状を示す。
そこで、この形状に着目して交差点の判別を行ない、交
差点が含まれる場合には、交差点の位置を基準として信
号線を認識する処理を行なう（ステップ410）。このほ
か、第８図（Ａ），（Ｂ）に示すように、横断歩道を認
識して交差点を判別することも可能である。信号機は、
交差点に対して特定の位置に存在する確率が極めて高い
から、第７図（Ｂ）あるいは第８図（Ｂ）に示すよう
に、交差点に対してその斜め上方に探索領域GSを設定
し、この探索領域内において信号機の形状、色彩を有す
る対象を特定するのである。

こうして信号機を認識した後、信号機が赤信号か否か
の判断を行なう（ステップ420）。信号機の３つのラン
プのうち、点灯しているランプの色が赤と判断された場
合には、入力回路19を介して車速センサ４とブレーキセ
ンサ５とからの信号を読み込み、車速Ｖとブレーキ操作
量Ｂとを入力する（ステップ430）。こうして入力され
た車速Ｖとブレーキの操作量Ｂとに基づいて、警報が必
要か否かを判断し（ステップ440）、信号機が赤信号で
あるにもかかわらず、車速Ｖが所定値以上でありかつブ
レーキが操作がなされていない場合には、運転車が信号
機に気付いていない可能性があるとして、出力回路21を
介して警報装置10を作動させる（ステップ450）。警報
装置10は、内蔵する音声合成装置により、「赤信号で
す。速度を落として下さい。」等の音声を外部に報知す
る。尚、信号機までの距離は、画像上の地平線から信号
機の高さや信号ランプの画像上の大きさ等から知ること
ができるので、これを検出して警報出力を制御すること
も考えられる。また、警報によっても車速Ｖが低下しな
い場合には、内燃機関の出力を低減したりブレーキを自
動的にかけるといった車速低下制御を合わせ行なっても
よい。

こうして警報装置10を作動させた後、あるいは交差点
でないか（ステップ400）信号が赤信号でないか（ステ
ップ420）もしくは警報が必要ない場合（ステップ440）
には、既述したステップ200に戻って上述した処理を繰
り返す。

以上のように構成された本実施例の車両用標識認識装
置を組み込んだ車両用制御装置によれば、初期処理によ
り道路と判断された領域の色彩に基づいて継続して道路
を正確に認識することができ、この道路領域に含まれる
交差点を検出し、この交差点に対して設定される領域を
探索することにより、極めて迅速、容易かつ正確に信号
機を認識することができる。即ち、交差点に対して探索
領域GSを設定して認識を行なうことから、先行車のテー
ルランプやネオンサイン等を誤認することがなく、信号
機認識の精度の向上・認識時間の短縮を図ることができ
るのである。この結果、認識した信号機を用いて警報装
置10から警報を出力することができ、車両運転上の安全
性の一層の向上を図ることができる。

次に、本発明の第２実施例について説明する。第２実
施例の車両用標識認識装置を組み込んだ車両用制御装置
は、第１実施例と同様のハードウェア構成（第２図，第
３図参照）を有する。第２実施例では、第９図のフロー
チャートに示すように、まず、第１実施例のステップ10
0ないしステップ180に相当する初期認識処理を実行する
（第４図参照）。その上に、道路と最終的に判定された
領域の属性として、色彩のほか、その領域の荒さを記憶
する（ステップ185）。領域の荒さとは、画像処理にお
けるいわゆるテクスチァであって、本実施例では、領域
の濃淡を二値化された画素の分布（ディザ法）により表
現する際の黒画素の割合として定義している。

こうして道路に相当する領域の初期認識とその属性の
記憶とを行なった後、後述する処理において使用する赤
信号認識用のフラグFRを値０にリセットし、更に第１実
施例と同様に、入力された画像から領域を抽出する等の
処理を行ない、道路に相当する可能性のある領域を認識
する処理を行なう（ステップ200ないし270）。その後、
車速センサ４からの車速信号を読み込んで車両１が走行
中であるか否かの判断を行なう（ステップ275）。走行
中であれば、第１実施例と同様に、領域の連続性の判断
・色彩および荒さによる領域の結合・修正等の処理を行
なう（ステップ280ないし320）。

かかる処理により連続性の条件が満足された場合に
は、第１実施例と同様、交差点が含まれるか否かの判断
および車速Ｖとブレーキ操作量Ｂとに基づく警報出力の
判断と処理を行なう（ステップ400ないし450）。尚、本
実施例では、第１実施例の処理に加えて、ステップ420
の判断において赤信号の認識がなされた場合には、フラ
グFRを値１にセットし（ステップ423）、赤信号の認識
がなされなかった場合には、値０にリセットする処理を
行なう（ステップ426）。

以上説明した処理により、走行中に交差点の認識がな
され信号機が赤信号の場合には、フラグFRが値１にセッ
トされると共に、車速Ｖがブレーキ操作量Ｂとに基づい
て、第１実施例同様、警報が必要な場合には、警報装置
10を駆動する処理が行なわれる。更に、本実施例では、
赤信号により車両１が停止した場合には、ステップ275
での判断は「NO」となり、ステップ500以下の処理を実
行する。

まず、フラグFRが値１であるか否かの判断を行ない
（ステップ500）、値１、即ち直前の処理により認識さ
れた信号で赤であれば、入力した画像から信号機を認識
する処理を行なう（ステップ510）。この処理は、走行
中の信号の認識（ステップ410）と同様のものである
が、停止中には、車間距離が小さく連続性は成り立たな
い可能性が高いことから連続性の処理（ステップ280な
いし320）を行なう前の画像から認識を行なうのであ
る。従って、信号機の探索領域GSは、これ以前に連続性
が成立した時点に決定された探索領域およびその周辺の
領域とする。

この領域を探索して信号機の認識ができたか否かを判
断し（ステップ520）、認識ができていれば、更に信号
機は青信号か否かを判断する（ステップ530）。青信号
であれば、それまで赤信号であったものが青信号に変わ
っと判断できるから、警報装置10を駆動し（ステップ54
0）、更にフラグFRを値０にリセットする処理を行なう
（ステップ550）。警報装置10は、複数種類の音声を記
憶できるから、ステップ450と異なり、ここでは、「信
号が青になりました」といった音声を出力させるのであ
る。

フラグFRのリセット後、もしくは上述した条件がひと
つでも成立していなかった場合には（ステップ500,520,
530）、道路領域の認識処理から再度実行する（ステッ
プ200）。

以上のように構成された本実施例の車両用制御装置
は、第１実施例と同様に、信号機を認識して交差点前の
警報を必要に応じて出力できる上、更に、交差点で停車
しているとき、信号機が青信号に変わった場合に、これ
を乗員に報知することができる。従って、乗員は停車中
に信号機を常時監視している必要がなくなり、他の作
業、例えば地図の確認や眼鏡の清掃等の作業を落ち着い
て行なうことができる。この結果、車両運転の安全性を
向上させることができる。

以上本発明のいくつかの実施例について説明したが、
本発明はこうした実施例に何等限定されるものではな
く、例えば道路領域の認識を道路に設置された反射プレ
ート等により行なう構成、道路の属性として画像処理に
よって得られる他の特徴を用いたもの、あるいは信号機
に代えて制限速度を表示する交通標識等を認識する構成
等、本発明の要旨を逸脱しない範囲において、種々なる
態様で実施し得ることは勿論である。

発明の効果 以上詳述したように、本発明の車両用標識認識装置に
よれば、道路領域を用いて標識を認識するための探索領
域を設定するので、極めて正確かつ容易に信号機や交通
標識等の標識を認識することができるという優れた効果
を奏する。また、信号機や交通標識等の側に発信器等を
設置する必要がないことから、現実に標識の認識装置を
車載することが容易となる。従って、車載の他の制御装
置、例えば認識した信号と車速等に基づき警報を行なう
装置の処理の容易化・高精度化を図ることができる。こ
うした装置を現実化することは、車両運転上の安全性の
向上に資することができ、極めて有益である。

【図面の簡単な説明】

第１図は本発明の基本的構成を例示するブロック図、第
２図は本発明第１実施例としての車両用標識認識装置を
組み込んだ車両用制御装置の概略構成図、第３図は同じ
くそのブロック図、第４図は第１実施例の電子制御装置
が実行する道路認識・警報処理ルーチンを示すフローチ
ャート、第５図（Ａ），（Ｂ），（Ｃ），（Ｄ），
（Ｅ）は各々道路認識処理により処理された画像を例示
する説明図、第６図（Ａ），（Ｂ）は検出点SP設定の様
子を示す説明図、第７図（Ａ），（Ｂ）は交差点の認識
と探索領域GSの設定との様子を示す説明図、第８図
（Ａ），（Ｂ）は同じく実際の画像例から信号機を認識
している様子を示す説明図、第９図は第２実施例におけ
る信号認識・警報処理ルーチンを示すフローチャート、
である。 １……車両 ２……テレビカメラ ３……電子制御装置 ４……車速センサ ５……ブレーキセンサ ７……カラーモニタ 10……警報装置 15……VRAM SP……検出点 GS……探索領域

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両周囲の車外を撮像する撮像手段と、 該撮像手段によって撮像される画像から、道路領域を認
   識する道路領域認識手段と、 該認識した道路領域に対して予め定めた位置関係を有す
   る探索領域内を探索して、走行に関与する交通標識，信
   号機等の標識を認識する標識認識手段と を備えた車両用標識認識装置。