JP2000207563A

JP2000207563A - 画像認識装置

Info

Publication number: JP2000207563A
Application number: JP11012333A
Authority: JP
Inventors: Nobukazu Shima; 伸和島; Ryuichi Nakamura; 隆一中村; Masahiro Babasaki; 正博馬場崎; Akihiro Ota; 明宏太田; Kenji Oka; 謙治岡; Keiji Kunitomo; 圭司國友
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 1999-01-20
Filing date: 1999-01-20
Publication date: 2000-07-28

Abstract

(57)【要約】【課題】画像認識装置の信頼性を向上する。【解決手段】自動車などの車両に搭載したカメラ１に
よって走行方向前方を撮像し、道路の走行レーンを表示
する白線を認識処理し、運転支援、自動運転を行う。条
件検出手段は、カメラ１からの画像データを演算処理
し、認識処理が不可能である条件、たとえば逆光、雨上
がりなどによって画像が明るすぎるとき、夜間などで画
像が暗すぎるとき、薄暮、雪などによって画像が低コン
トラストであるとき、さらに逆光などによるスミアが発
生しているときなどの条件を検出する。報知手段１２
は、このような認識処理が不可能である条件を報知す
る。したがってカメラ１が故障などして異常であった
か、またはカメラへの入力画像が異常、または不適切で
あったかを判断することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラによって撮
像した画像データによって物体などの認識処理を行う画
像認識装置に関し、特に自動車などの車両に搭載され、
自動車の前方、側方または後方などに光軸が向けられて
搭載された車載カメラからの画像データによって、たと
えば道路に描かれた走行レーンを表す白線および他の車
両の有無などを認識し、運転者に報知し、または車両の
運転制御を行う運転支援、自動運転装置に好適に実施さ
れる画像認識装置に関する。

【０００２】

【従来の技術】このような運転支援、自動運転装置用画
像認識装置では、認識する対象物体であるたとえば道路
の白線または先行車両を、カメラからの画像データによ
って画像認識することができない場合、画像認識不可能
であると判断している。

【０００３】図２０は、上述の先行技術の動作を説明す
るためのフローチャートである。ステップｇ１からステ
ップｇ２に移り、カメラからの画像データをコンピュー
タなどによって実現される処理手段に入力する。ステッ
プｇ３では、この画像データを用いて、道路上に描かれ
た走行レーンを表示する白線などの物体を認識する認識
処理を行う。ステップｇ４において認識処理が可能であ
るとき、ステップｇ５において白線の認識が可能である
ことを表す信号を導出し、ステップｇ７では、その信号
を用いて、運転支援、自動運転などのための動作が実施
される。ステップｇ６では、白線の認識処理が不可能で
あることを表す信号が導出され、これによって運転支
援、自動運転の動作が停止される。

【０００４】このような先行技術では、画像認識の処理
が不可能である条件が、たとえば雨または雪などの周囲
環境によるのか、またはカメラもしくはそのカメラから
の画像データを認識処理する回路が故障して異常である
のかを判断することができない。したがって画像認識装
置の信頼性が劣る結果になる。

【０００５】また画像認識装置の認識性能を向上させ、
すなわち適用範囲を拡大すると、物体の認識率は向上す
るけれども、これと同時に、誤認識も増加することがあ
る。したがって操作者は、カメラからの画像データの認
識処理を適切に行うことができるか、または認識処理が
不可能であるかを知る必要が生じる。

【０００６】特に前述の運転支援、自動運転装置では、
カメラからの画像データの認識処理を適切に行うことが
できるかどうかを正確に判断することが、安全運転の観
点から必要であり、さもなければ、運転支援、自動運転
装置を使用することができなくなってしまう。

【０００７】

【発明が解決しようとする課題】本発明の目的は、たと
えば運転支援、自動運転装置などの用途において、カメ
ラによって撮像して得られる画像データを用いて対象物
体の認識処理を行うことができるかどうかを判断する画
像認識装置を提供することである。

【０００８】

【課題を解決するための手段】本発明は、カメラと、カ
メラからの画像データを演算処理し、認識処理が不可能
である条件を検出する条件検出手段と、条件検出手段の
出力に応答し、認識処理が不可能である条件を報知する
報知手段と、条件検出手段の出力に応答し、認識処理が
可能であるとき、カメラからの画像データの認識処理を
する認識処理手段とを含むことを特徴とする画像認識装
置である。

【０００９】本発明に従えば、条件検出手段によって、
カメラからの画像データの認識処理を認識処理手段によ
って行うことができるかどうかを判断し、認識処理が不
可能であるとき、その条件、すなわち原因を検出し、報
知手段によって報知する。この報知手段は、液晶または
陰極線管などの２次元表示面を有する目視表示手段であ
ってもよく、または音声合成回路とスピーカとを有する
音響表示手段であってもよく、その他の構成を有する報
知手段であってもよい。したがってたとえば運転支援、
自動運転装置用画像処理装置において、カメラによって
撮像した先行車両を認識処理手段が認識処理することが
できない場合、先行車両がいないことによって認識でき
なかったのか、またはカメラからの画像データが異常で
ありもしくは動作が不適切であることによって認識でき
ないのかを、操作者は、知ることができる。こうして画
像認識装置の信頼性が確保される。

【００１０】また本発明は、カメラと、カメラからの画
像データを演算処理し、認識処理が不可能である条件を
検出する条件検出手段と、条件検出手段の出力に応答
し、カメラへの入力画像を補正し、またはカメラからの
画像データを補正する補正手段と、入力画像が補正手段
によって補正されたカメラからの画像データ、または補
正手段によって補正された画像データの認識処理をする
認識処理手段とを含むことを特徴とする画像認識装置で
ある。

【００１１】本発明に従えば、条件検出手段によって、
カメラからの画像データを認識処理手段が認識処理する
ことが不可能であると判断したとき、補正手段は、カメ
ラへの入力画像を補正し、たとえば（ａ）カメラの絞り
またはシャッタ速度を適正値に変更して露光条件を補正
し、または（ｂ）自動車の車室内にカメラが搭載され、
車両の前方を撮像する構成において、フロントガラスの
外周面を払拭するワイパを自動的に作動させて正常な前
方の状況をカメラによって撮像することができるように
補正する。補正手段はまた、カメラからの画像データを
補正するように構成されてもよく、たとえば（ｃ）カメ
ラからの画像データが、濃淡を表すアナログ信号である
場合、条件検出手段によって画像データが低コントラス
トであることが判断されたとき、アナログ信号をデジタ
ル信号に変換するアナログ／デジタル変換への感度を広
げ、すなわちアナログ信号のわずかな差毎に、デジタル
信号に変換するように構成し、こうしてカメラからの画
像データを補正することができる。

【００１２】こうして入力画像が補正されたカメラから
の画像データを用いて、またはカメラからの画像データ
を補正することによって、認識処理手段は、その画像デ
ータの認識処理を行うことができる。こうして条件検出
手段によって画像データの認識処理が不可能であると判
断されたとき、補正手段の働きによって、対応環境とさ
れる利用領域を拡大し、画像認識装置の性能を向上させ
ることができる。

【００１３】また本発明は、カメラと、カメラの周囲環
境を検出するセンサと、カメラからの画像データの認識
処理をする認識処理手段と、センサの出力に応答し、認
識処理手段によって、カメラからの画像データの認識処
理が不可能である条件を検出する条件検出手段と、条件
検出手段の出力に応答し、認識処理が不可能である条件
を報知する報知手段とを含むことを特徴とする画像認識
装置である。

【００１４】本発明に従えば、センサによってカメラの
周囲環境を検出し、このセンサによって検出された周囲
環境が、認識処理手段によるカメラからの画像データの
認識処理が不可能である条件であるかを、条件検出手段
によって判断し、認識処理が不可能であるとき、報知手
段によって認識処理が不可能である条件を検出して判断
するために、カメラからの画像データを演算処理する必
要がなく、センサの出力を用いるようにしたので、演算
処理量を減少し、迅速な演算処理不可能条件の判断を行
うことができる。

【００１５】また本発明は、条件検出手段は、センサの
出力によって検出された条件と、カメラからの画像デー
タを演算処理することによって検出された条件とが、一
致したとき、その条件を表す出力を報知手段に与えるこ
とを特徴とする。

【００１６】本発明に従えば、認識処理手段による画像
データの認識処理が不可能である条件を、センサの出力
だけでなく、カメラからの画像データを演算処理するこ
とによってもまた検出する。こうして得られた認識処理
不可能の条件が一致したとき、その認識処理不可能な条
件を、報知手段によって報知するようにしたので、認識
処理が不可能である条件の判断を高精度で達成すること
ができるようになる。

【００１７】

【発明の実施の形態】図１は、本発明の実施の一形態の
画像認識装置を備える運転支援、自動運転装置の全体の
構成を示すブロック図である。カメラ１からの画像デー
タは、マイクロコンピュータによって実現される処理回
路２に与えられ、これによって制御回路３は、自動車の
車体を走行駆動する内燃機関４を制御するとともに、制
動手段５を制御する。カメラ１によって、自車よりも走
行方向前方を走行している先行車両を検出し、その先行
車両と自車との間の距離を処理手段２によって測定し、
この距離が予め定める値に保たれるように、制御回路３
は、内燃機関４と制動手段５とを制御し、こうして先行
車両が走行すると、自車も走行し、また先行車両が停止
すると自車も停止するように、自動運転が行われる。さ
らに処理手段２では、カメラ１によって撮像された画像
データを認識処理し、車両の前方の道路に描かれた走行
レーンを表す白線を検出する。この検出された白線が、
車両の左右に短い周期で変動したとき、運転者が居眠り
をしているものと判断して、たとえばブザーなどの音響
表示手段によって音響を発生し、居眠り運転を防止し、
運転支援を行う。

【００１８】図２は、自動車の車体６の簡略化した側面
図である。運転者用座席７が設けられた車室８内には、
車体６の背後である走行方向後方を見るためのルームミ
ラーである反射鏡９が設けられ、この反射鏡９の走行方
向前方（図２の左方）にはカメラ１が設けられる。さら
にカメラ１の前方には、フロントガラス１０が配置され
る。フロントガラス１０の外表面は、ワイパ１１によっ
て払拭することができる。

【００１９】図３は、処理手段２の動作を説明するため
のフローチャートである。ステップａ１からステップａ
２に移り、カメラ１によって撮像された車体６の走行方
向前方の景色の画像データが処理回路２に入力される。
ステップａ３では、カメラ１からの画像データを演算処
理し、道路に描かれた白線である物体の認識処理が不可
能である条件を検出して判断する。ステップａ４におい
て白線である物体の認識処理が可能であるとき、ステッ
プａ５では、その物体の認識処理を行う。ステップａ６
では、物体の認識処理が行われ、その物体が認識された
かどうかが判断される。道路上の白線が検出されていれ
ば、ステップａ７では、その物体である白線が認識され
たことを表す信号が導出される。これとは逆に、白線で
ある物体が認識されなければ、車体６は、道路の走行レ
ーンを外れて走行しているおそれがあり、このとき白線
が認識されていないことを表す信号を、ステップａ８に
おいて導出する。ステップａ９では、白線が認識されて
いるとき、車体６は走行レーンを走行しているものと判
断することができ、このとき制御回路３によって、内燃
機関４および制動手段５を制御して自動運転動作を行う
とともに、居眠り防止のための運転支援動作を行う。白
線がステップａ８において認識されないとき、制御回路
３による自動運転動作を停止する。

【００２０】ステップａ４においてステップａ５におけ
る物体の認識処理が不可能である条件を検出したとき、
ステップａ９では、その認識処理が不可能である条件
を、報知手段１２によって報知する。報知手段１２は、
たとえば液晶または陰極線管などの２次元表示面に目視
表示をする手段であってもよく、または音声合成回路と
スピーカを備えた音響表示手段であってもよく、その他
の報知を行う構成を有していてもよい。認識処理が不可
能である条件というのは、たとえば表１に示される条件
が挙げられる。

【００２１】

【表１】

【００２２】図４は、図１に示される処理手段２の動作
の一部をさらに詳細に示すフローチャートである。図４
のステップｂ２は、図３のステップａ３と同一であっ
て、認識処理が不可能であるかどうかの判断を行うステ
ップである。図３のステップａ４の具体的な動作は、図
４のステップｂ３〜ｂ１０に示される。これらの各ステ
ップｂ３〜ｂ１０の動作は、表２に示される画像の現象
１〜８にそれぞれ対応する。

【００２３】

【表２】

【００２４】図５は、カメラ１によって撮像され報知手
段１２の２次元表示面に表示された画像１６を示す正面
図である。この２次元表示面１６の画面全体１７には、
斜線を施して示す道路部分１８と、車体６の前部である
自車ボデー部１９とが含まれる。

【００２５】図４のステップｂ２では、上述の表２に示
される判断動作が行われる。次のステップｂ３では、カ
メラ１によって撮像された画像が、逆光、雨上がりなど
の認識不可能条件によって、画像が明る過ぎるかが判断
される。この判断のために表２の判断動作１ａ〜１ｃが
実行される。

【００２６】図６は、判断動作１ａを説明するための図
である。図６（１）に示されるように画面全体の画像が
逆光によって明る過ぎると判断する際、図６（２）に示
される濃度ヒストグラムを求める。この濃度ヒストグラ
ムは、横軸が階調１（黒）〜２５６（白）であり、縦軸
は、その濃度を有する画素数である。画面の各画素毎
に、８ビットから成る画像データが得られる。図６
（２）の濃度ヒストグラムでは、輝度値すなわち濃度の
分布の傾向が、ほとんど白であることが判る。このよう
な濃度ヒストグラムにおいて、たとえば濃度２０１以上
の画素数が予め定める値以上であるとき、画像が明る過
ぎると判断することができる。

【００２７】画面を構成する画素の輝度値すなわち濃度
の階調というのは、画像のデータをデジタル値に変換し
たときの明るさ、すなわち濃淡度を示し、モノクロ画像
の場合、１画素につき、８ビットの分解能０〜２５５の
値によって輝度値が表される。濃度ヒストグラムは、画
像の処理対象領域内の全画素を、各輝度値毎に分布状態
を求めたグラフである。

【００２８】本発明の実施の他の形態では、画像が明る
過ぎることを判断する判断動作１ｂでは、画面の一部分
（たとえば図５に示される道路部分１８）の濃度ヒスト
グラムを求め、その輝度値の分布の傾向がほとんど白で
あるとき、画像が明る過ぎるものと判断する。本発明の
実施のさらに他の形態では、判断動作１ｃにおいて、カ
メラ１の入力画像において、常に同じ状態の部分（たと
えば図５の自車ボデー部１９）の平均濃度を演算して求
め、この濃度値が通常走行時の平均濃度と比べ、予め定
める差以上の差があるとき、画像が明る過ぎると判断す
る。

【００２９】図４のステップｂ４では、カメラ１によっ
て撮像された画像が、認識不可能条件である夜間などに
よって、画像が暗過ぎるかが判断される。図７（１）
は、夜間、カメラ１によって撮像された画像が暗過ぎる
状態を示すための図である。図７（１）では、暗過ぎる
画像を示し、図７（２）は、その図７（１）の画像の濃
度ヒストグラムである。この画像が暗過ぎるための判断
動作２ａは、画面全体の濃度ヒストグラムを、図７
（２）に示されるようにして求め、その輝度値の分布の
傾向がほとんど黒であるとき、画像が暗過ぎるものと判
断する。すなわち濃度ヒストグラムにおいて、たとえば
濃度５１未満における画素数が予め定める値以上である
とき、画像が暗過ぎるものと判断する。

【００３０】本発明の実施の他の形態の判断動作２ｂで
は、画面の一部分（たとえば図５の道路部分１８）の濃
度ヒストグラムを求め、その輝度値の分布の傾向がほと
んど黒であるとき、画像が暗過ぎるものと判断する。

【００３１】本発明の実施のさらに他の形態の判断動作
２ｃでは、カメラ１の入力画像における常に同じ状態の
部分（たとえば図５の自車ボデー部１９）の平均濃度を
求め、この濃度値が通常走行時の平均濃度と比べ、暗過
ぎるとき、画像が暗過ぎるものと判断する。

【００３２】図４のステップｂ５では、画像が、薄暮、
霧などによって低コントラストであるかが判断される。
図８は、画像が低コントラストであるときの状態を示す
図である。図８（１）は低コントラストの画像を示し、
図８（２）はその画像の濃度ヒストグラムを示す。画像
が低コントラストであると判断する判断動作３ａでは、
画面全体の濃度ヒストグラムを求め、その輝度値の分布
の傾向が、一部に集中しているとき、画面が低コントラ
ストであるものと判断する。このために濃度ヒストグラ
ムにおいて予め定める画素数以上を有する濃度の範囲が
予め定める濃度値未満であるとき、低コントラストであ
るものと判断する。

【００３３】本発明の実施の他の形態では、画面が低コ
ントラストであると判断する判断動作３ｂにおいて、画
面の一部分（たとえば図５の道路部分１８）の濃度ヒス
トグラムを求め、その輝度値の分布の傾向が一部に集中
するとき、低コントラストであるものと判断する。

【００３４】ステップｂ６では、カメラ１によって撮像
された画像にスミアが発生していることを判断し、この
ようなスミアの発生は、逆光などの認識不可能条件にお
いて発生する。スミアというのは、次の図９（１）に示
されるように、カメラ１の外光の影響で画面に発生する
縦縞模様をいう。

【００３５】図９は、カメラ１によって撮像された画像
にスミアが発生した状態を説明するための図である。図
９（１）の画像では、スミアである縦縞模様２０が表示
されている。この画像の垂直方向への濃度投影は図９
（２）に示される。図９（２）において横軸は、画面の
水平方向の位置であり、縦軸は垂直方向の各画素の濃度
の合計値である濃度和を表す。スミアの発生を判断する
判断動作４ａでは、画像全体の垂直方向への濃度投影を
求め、その投影値の一部が参照符２１で示されるように
突出しているとき、スミアが発生しているものと判断す
る。

【００３６】図１０は、図４のステップｂ２においてス
ミアが発生している判断動作４ａの具体的な動作を説明
するための図である。ステップｃ１からステップｃ２に
移り、図９（２）に示される画像全体の垂直方向への濃
度投影において、水平方向（図９（２）の横方向）に各
画素の位置毎に、まず、第１ピークｐ１が存在するかど
うか、すなわち両側の濃度和よりも高い濃度和を有する
位置であるかを判断する。次のステップｃ３では、その
第１ピークｐ１の両側±Ｌの範囲を設定する。この±Ｌ
は、たとえば自己の画素の位置の両側に±１０画素分の
範囲である。ステップｃ４では、この範囲±Ｌにおける
第１ピークｐ１よりも高い、または低い第２ピークｐ２
を求める。ステップｃ５では、第１および第２ピークｐ
１，ｐ２の差ΔＰ（＝│ｐ１−ｐ２│）を演算して求め
る。ステップｃ６では、差Δｐが、予め定める値Δｐ１
以上であるか（Δｐ≧Δｐ１）が判断される。差Δｐ
が、予め定める値Δｐ１以上であるとき、ステップｃ７
では、スミアが発生したものと判断する。

【００３７】本発明の実施の他の形態では、スミアの発
生を判断する判断動作４ｂにおいて、画面の一部分（た
とえば図５の道路部分１８）の垂直方向への濃度投影を
求め、その投影値の一部が突出しているとき、スミアの
発生であると判断する。

【００３８】図４のステップｂ７では、画面が、霧、カ
メラ異常、フロントガラス１０の汚れなどの認識不可能
条件によってぼやけており、すなわちぼんやりしている
ことが判断される。

【００３９】図１１は画面がぼんやりしている状態を説
明するための図であり、図１２は同一被写体の画面が順
光においてぼやけていない明瞭である状態を説明するた
めの図である。図１１（１）に示されるぼやけた画面の
画面全体の垂直方向への濃度投影は図１１（２）に示さ
れる。図１２（１）の明瞭な画面の画面全体の垂直方向
への濃度投影は図１２（２）に示される。図１１（２）
は、画面の水平方向の各画素位置に対応するエッジ値の
垂直方向の和を示し、このことは図１２（２）において
も同様である。画面がぼやけているかどうかの判断動作
においては、エッジ抽出の手法が実行される。このエッ
ジ値は、画像中で、輝度値が急激に変化する部分を取出
した値であり、エッジ抽出を行うことによって、画像中
の物体の輪郭線を抽出することができる。

【００４０】図１３は、エッジ値を抽出するための演算
係数を示す図である。座標（ｉ，ｊ）のエッジ値をΔｆ
（ｉ，ｊ）とし、濃度値をｆ（ｉ，ｊ）とすると、 Δｆ（ｉ，ｊ）＝ｆ（ｉ−１，ｊ−１）＋２ｆ（ｉ−１，ｊ）＋ｆ（ｉ−１，ｊ＋１）−ｆ（ｉ＋１，ｊ−１） −２ｆ（ｉ＋１，ｊ）−ｆ（ｉ＋１，ｊ＋１） …（１）画面がぼやけているという判断動作５ａでは、画面全体
の図１１（２）および図１２（２）に示されるエッジ画
像を求め、予め定める所定数以上のエッジ値が得られな
いとき、画面がぼやけているものと判断する。本発明の
実施の他の形態では、画面がぼやけていると判断する判
断動作５ｂにおいて、画面の一部分（たとえば図５の道
路部分１８）のエッジ画像を求め、所定数以上のエッジ
値が得られないとき、画面がぼやけていると判断する。
本発明の実施のさらに他の形態では、画面がぼやけてい
ると判断する判断動作５ｃにおいて、常に輪郭線が得ら
れる部分（たとえば図５の自車ボディ部１９と道路との
境目部分）のエッジ値を求め、所定数以上のエッジ値が
得られないとき、画面がぼやけているものと判断する。

【００４１】図１４は、図４のステップｂ８において、
カメラ１による画像が、雨などがフロントガラス１０の
外表面に付着するなどの認識不可能条件によって、にじ
んでいる状態を説明するための図である。図１４（１）
では、にじんでいる画像が示され、図１４（２）では、
図１４（１）における画像の垂直方向へのエッジ投影を
示す。画像がにじんでいる際、判断動作６ａでは、認識
した対象物体のエッジの長さおよび方向が不適切に歪ん
でいるとき、画像がにじんでいるものと判断する。エッ
ジの長さは、図１４（２）において予め定めるエッジ和
が、予め定める値以上である長さＬ１が得られたとき、
画像がにじんでいるものと判断してもよい。

【００４２】図４のステップｂ９では、車両が移動して
いるのにもかかわらず、カメラ１によって撮像される画
像が変化しない現象が生じたとき、カメラが故障などし
て異常であるなどの認識不可能条件を判断する判断動作
７ａが行われる。この判断動作７ａでは、車体６の車輪
速度を検出する検出手段からの出力が得られ、しかも順
次的な複数画面の画像が変化していないとき、画像が変
化なしと判断される。

【００４３】本発明の実施の他の形態では、表２におい
て、車両が移動しているのにもかかわらず画像が変化無
と判断する判断動作７ｂにおいて、画像全体の前回の入
力画像との差分を求め、所定数以上の差分値が得られな
いとき、画像が変化無と判断する。差分というのは、時
間的に隣り合う２枚の画像の対応する各画素の輝度値の
差を求めた値であり、画像に変化が無ければ、または少
なければ、差分値は零または小さい値になる。こうして
前入力画像と今回の現在の画像との対応する画素毎の輝
度値の差を求めて、レベル弁別することによって、画像
が変化無であるものと判断することができる。

【００４４】本発明の実施のさらに他の形態では表２に
おいて、車両が移動しているのにもかかわらず、画像が
変化無と判断する判断動作７ｃにおいて、画面の一部分
（たとえば図５の道路部分１８）の前入力画像と現在の
入力画像との差分を上述のように求め、所定数以上の差
分値が得られないとき、画像が変化無と判断する。

【００４５】表２に示されるその他の画像の現象とし
て、カメラの故障などに起因した異常である認識不可能
条件を判断する判断動作８ａでは、カメラ１から得られ
る画像信号中に含まれる水平または垂直の同期信号のレ
ベルが異常であり、判断動作８ｂでは、その画像信号中
の映像信号のレベルが異常であり、判断動作８ｃでは、
画像信号中の同期信号の間隔すなわち周期が異常である
とき、カメラ異常である認識不可能条件が発生したもの
と判断する。画像信号とは、映像信号と水平、垂直の同
期信号とを含む複合映像信号である。ＮＴＳＣ（Nation
al TelevisionStandard Comittee）方式の同期信号で
は、白レベルおよび同期信号の上部分と底との値が定め
られ、また垂直同期信号の間隔は１６．７ｍｓｅｃであ
り、水平同期信号の間隔は６３．５μｓｅｃに定められ
ている。

【００４６】上述の表２の画像の現象１〜８が、図４の
ステップｂ３〜ｂ１０で検出されたとき、認識処理が不
可能である条件を、図３のステップａ９において報知手
段１２によって報知される。

【００４７】図１５は、本発明の実施の他の形態の全体
の構成を示すブロック図である。この実施の形態は、前
述の図１〜図１４の実施の形態に類似し、対応する部分
には同一の参照符を付す。この実施の形態では、前述の
実施の形態における表２の画像の現象を判断して認識不
可能条件を報知した後、すぐに画像認識不可能と判断す
るのではなく、カメラ１への入力画像を補正し、または
カメラからの画像データを補正し、これによって画像認
識処理が可能である状態とする。図１５においてフロン
トガラス１０の外表面を払拭するワイパ１１の駆動手段
が、処理回路２によって制御される。カメラ１からの画
像データのアナログ信号は、アナログ／デジタル変換器
２３においてデジタル信号に変換され、処理回路本体２
４において前述と同様な演算処理動作が行われる。カメ
ラ１の受光量調節手段２５は、処理手段２からの制御信
号に応答し、カメラ１の絞りおよび／またはシャッタ速
度を調整する。その他の構成と動作は、前述の実施の形
態と同様である。

【００４８】図１６は、図１５に示される実施の形態の
処理回路本体２４の動作を説明するためのフローチャー
トである。図１６のステップｄ２，ｄ４〜ｄ８は、前述
の実施の形態における図３のステップａ２，ａ５〜ａ９
と同様である。ステップｄ１からステップｄ２に移り、
カメラ１の画像データがアナログ／デジタル（Ａ／Ｄ）
変換器２３を経て処理回路本体２４に与えられる。ステ
ップｄ３では、認識不可判断を行い、認識不可の場合に
入力画像データを補正する。その補正後に、認識処理を
行い、画像認識可能状態とし、またこのような補正後に
おいても認識処理が不可能であるとき、その認識処理が
不可能な領域を、認識処理領域から除外してもよい。ス
テップｄ４では、得られた補正後の画像データを認識処
理し、たとえば道路の前記白線などの物体の認識処理を
行う。認識不可能条件が存在しないとき、ステップｄ２
で与えられたカメラ１からの画像データが、ステップｄ
４においてそのまま認識処理される。その他の動作は、
前述の実施の形態と同様である。

【００４９】図１７は、図１５および図１６に示される
実施の形態において、図１６のステップｄ３のさらに具
体的な動作を説明するためのフローチャートである。ス
テップｅ１〜ｅ５では、表３に示される画像の現象およ
び画像の認識処理不可能条件１〜４，６を、表２の判断
動作によって実行する。これらの画像の現象と認識不可
能条件１〜４，６は、表２に示される画像の現象および
認識不可能条件の参照符と同様である。

【００５０】

【表３】

【００５１】図１７のステップｅ１において画面が明る
過ぎると判断されたときおよびステップｅ２において画
面が暗過ぎると判断されたとき、ステップｅ６に移り、
フラグａが論理「１」であるかが判断される。初期状態
において、フラグａは論理「０」である。そこでステッ
プｅ６からステップｅ７に移り、フラグａが論理「１」
にされ、ステップｅ８では、カメラ１に備えられる絞り
および／またはシャッタ速度が調整され、画像認識が可
能な状態に調整される。その後再びステップｅ１，ｅ２
に戻る。絞りおよび／またはシャッタ速度が調整された
にもかかわらず、画像が明る過ぎたり、または画像が暗
過ぎたりしたとき、再びｅ６に移り、フラグａが論理
「１」であるので、次のステップｅ９では、画像の全体
の認識処理領域から、認識不可能条件を有する領域を外
す。ステップｅ１０では、フラグａを論理「０」に戻
す。こうして前述の図１６におけるステップｄ４で、物
体の認識処理を行う。

【００５２】図１７のステップｅ３において、画像のコ
ントラストが低いと判断されたとき、ステップｅ１１か
らステップｅ１２に移り、フラグｂが論理「１」とさ
れ、次のステップｅ１３では、処理手段２に備えられて
いるアナログ／デジタル変換器２３の感度を広げる。す
なわちアナログ／デジタル変換器２３において、隣接す
るデジタル信号が表す入力アナログ信号のレベルの差を
大きくし、コントラストを高くするように調整される。
ステップｅ１３の次に、再びステップｅ１〜ｅ３に戻
り、ステップｅ１１からステップｅ１４に移る。画面が
依然として低コントラストであるとき、ステップｅ１４
では、その認識不可能条件を有する領域を、画像全体の
認識処理領域から外し、次のステップｅ１５では、フラ
グｂを論理「０」に戻す。こうして図１６のステップｄ
４において物体の認識処理を行う。

【００５３】画像のスミアが発生したことが、ステップ
ｅ４において判断されたとき、前述のステップｅ６に移
る。ステップｅ４においてスミアの発生が検出されたと
き、カメラ１に制御信号を送信し、スミアが発生しない
ようにレンズの絞りおよび／またはシャッタ速度を調整
して変更する。この画像中にスミアが発生したとき、上
述の調整動作によっては除外することができないとき、
画像認識処理を行う際に、スミアが発生している領域
を、認識処理領域から外す。これによってスミアが発生
するときであっても、認識処理を行うことができる。

【００５４】ステップｅ５においてフロントガラス１０
に雨滴が付着しているという認識不可能条件が判断され
たとき、ステップｅ１６からステップｅ１７に移り、フ
ラグｃが論理「１」とされる。ステップｅ１８では、ワ
イパ１１が駆動され、フロントガラス１０の外表面が払
拭されて清浄化される。再びステップｅ５に戻り、ワイ
パ１１が駆動されたにもかかわらず、雨滴が付着してい
るという認識不可能条件が判断されると、ステップｅ１
６からステップｅ１９に移り、その認識不可能条件が存
在する領域が、画像の全体の認識処理領域から外され
る。ステップｅ２０では、フラグｃが論理「０」に戻さ
れる。その後物体の認識処理が図１６のステップｄ４に
おいて実行される。

【００５５】図１８は、本発明の実施のさらに他の形態
の全体の構成を示すブロック図である。この実施の形態
は前述の実施の形態に類似し、対応する部分には同一の
参照符を付す。この実施の形態では、カメラ１の画像デ
ータを用いた認識処理不可能条件である周囲環境を判断
するために、図１８の参照符２７〜３４で示される各種
のセンサを用いる。各センサによる認識不可能条件は表
４に示されるとおりである。

【００５６】

【表４】

【００５７】図１９は、図１８に示される処理回路２の
動作を説明するためのフローチャートである。この図１
９のステップｆ１においてワイパの動作を検出するセン
サ２７がワイパの動作が行われない状態であることを検
出し、または車体６に設けられた雨滴センサ２８が降雨
状態を検出したとき、認識処理不可能条件を表す信号を
導出する。

【００５８】ステップｆ２において路面の摩擦係数μを
μセンサ２９によって検出し、その道路の摩擦係数μ
が、小さく、雨が降っている状態、雨上がりの状態また
は雪の状態である認識不可能条件を検出したとき、認識
不可能条件を表す信号を導出する。これによって報知手
段１２は、たとえば「道路状態不良のため、道路の白線
が検出不可」と表示して報知する。

【００５９】ステップｆ３では、音センサ３０を用い、
車体６に衝突する雨滴の音を検出する。音センサ３０に
よって雨滴の音が検出されるとき、認識不可能条件を表
す信号を導出する。ステップｆ４では、車体６に設けら
れた高度計、湿度計、温度計を含むセンサ３１によって
検出される高度、湿度および温度から霧が発生している
こと、したがって認識処理が不可能である条件を表す信
号を導出する。

【００６０】ステップｆ８では、前述のステップｆ４に
おいて認識不可能条件である霧が発生していることが判
断されたとき、ステップｆ８ではさらに、カメラ１から
の画像データを演算処理し、前述の実施の形態と同様に
認識処理が不可能である条件を検出して判断する。この
ステップｆ８において得られた画像データの演算処理に
よる認識不可能条件が霧であることが判断され、したが
ってステップｆ４におけるセンサの出力によって検出さ
れた認識不可能条件である霧と一致したとき、その認識
不可能条件を、ステップｆ９で報知手段１２によって報
知する。ステップｆ８における各検出された条件が一致
しないときには、認識処理を行うために、次のステップ
ｆ５に移る。

【００６１】本発明の実施の他の形態では、ステップｆ
８は省略され、ステップｆ４において認識不可能条件で
ある霧が検出されたとき、認識処理を行わないようにし
て、ステップｆ９において報知を行うようにしてもよ
い。

【００６２】ステップｆ５において照度計３２によっ
て、照度値が検出され、これによって認識不可能条件で
ある逆光または真暗であることが検出されると、認識処
理を行わず、この認識不可能条件である逆光または真暗
であることが報知手段１２によって報知される。照度計
の代わりに、指向性が高い日射センサが用いられ、日射
強度が検出されるようにしてもよい。この日射センサに
よって、逆光または真暗である認識不可能条件を検出す
ることができる。

【００６３】ステップｆ６では、時計の時刻と方位のセ
ンサ３３によって、太陽の方向を推測し、これによって
カメラ１が逆光であることを判断したとき、この認識不
可能条件を報知手段１２によって報知し、認識処理を行
わない。

【００６４】ステップｆ７では、ナビゲーション装置
（略称ナビ）が備えている車両の現在位置を検出するＧ
ＰＳ（Gloval Positioning System）装置からの衛星受
信状態をセンサ３４によって検出し、受信できないと
き、認識不可能条件であるトンネル内を走行中であるこ
とを報知手段１２によって報知し、認識処理を行わな
い。このＧＰＳ装置は、図１８において参照符３４で示
されている。こうしてナビゲーションシステムでは、車
両を、予め入力した目的地に到達するための経路を２次
元表示面で表示し、しかも現在の自車位置をその２次元
表示面上に表示された地図に表示する。このようなナビ
ゲーション装置におけるＧＰＳ装置の出力を用いて、画
像認識不可能条件を判断するので、認識不可能条件の判
断のための構成を簡略化することができる。ナビゲーシ
ョン装置に代えて、その他の各種の装置の構成の一部
を、認識不可能条件の検出のために兼用するようにして
もよい。

【００６５】本発明の画像認識装置は、自動車などの車
両に搭載されて実施されてもよいけれども、車両に搭載
されずに、実施されてもよい。

【００６６】

【発明の効果】請求項１の本発明によれば、認識処理手
段によるカメラからの画像データの認識処理が不可能で
あるとき、その不可能である条件、すなわち原因を、条
件検出手段によって検出して判断し、報知手段によって
報知されるので、カメラへの入力画像が異常であったか
または不適切であったかどうかを操作者は判断すること
ができ、こうして画像認識装置の信頼性を確保すること
ができる。

【００６７】請求項２の本発明によれば、条件検出手段
によって、認識処理が不可能である条件が検出されて判
断されたとき、補正手段は、カメラへの入力画像を補正
し、またはカメラから得られる画像データを補正し、こ
れによって認識処理手段による対象物体の認識処理を可
能にし、したがって対応環境とされる利用領域を拡大
し、画像認識装置の性能を向上することができる。

【００６８】請求項３の本発明によれば、認識処理手段
による物体の認識処理が不可能であるかどうかを、周囲
環境を検出するセンサからの出力に基づいて条件検出手
段が判断するようにしたので、カメラからの画像データ
の演算処理による認識不可能かどうかの判断を行う必要
がなく、演算処理を軽減することができ、条件検出手段
による認識処理が不可能である条件の検出判断を迅速に
行うことができる。

【００６９】請求項４の本発明によれば、センサの出力
によって検出された条件と、カメラからの画像データを
演算処理することによって検出された認識処理手段の認
識処理が不可能である条件とが、一致したとき、その一
致した条件を報知手段によって出力するので、認識不可
能の判断を高精度で行うことができ、画像認識装置の信
頼性をさらに向上することができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態の画像認識装置を備える
運転支援、自動運転装置の全体の構成を示すブロック図
である。

【図２】自動車の車体６の簡略化した側面図である。

【図３】処理手段２の動作を説明するためのフローチャ
ートである。

【図４】は図１に示される処理手段２の動作の一部をさ
らに詳細に示すフローチャートである。

【図５】カメラ１によって撮像され報知手段１２の２次
元表示面に表示された画像１６を示す正面図である。

【図６】カメラ１によって撮像された画像が明るすぎる
状態を示す図である。

【図７】夜間、カメラ１によって撮像された画像が暗過
ぎる状態を示すための図である。

【図８】画像が低コントラストであるときの状態を示す
図である。

【図９】カメラ１によって撮像された画像にスミアが発
生した状態を説明するための図である。

【図１０】図４のステップｂ２においてスミアが発生し
ている判断動作４ａの具体的な動作を説明するための図
である。

【図１１】画面がぼんやりしている状態を説明するため
の図である。

【図１２】同一被写体の画面が順光においてぼやけてい
ない明瞭である状態を説明するための図である。

【図１３】エッジ値を抽出するための演算係数を示す図
である。

【図１４】にじんでいる画像を説明するための図であ
る。

【図１５】本発明の実施の他の形態の全体の構成を示す
ブロック図である。

【図１６】図１５に示される実施の形態の処理回路本体
２４の動作を説明するためのフローチャートである。

【図１７】図１５および図１６に示される実施の形態に
おいて、図１６のステップｄ３のさらに具体的な動作を
説明するためのフローチャートである。

【図１８】本発明の実施のさらに他の形態の全体の構成
を示すブロック図である。

【図１９】図１８に示される処理回路２の動作を説明す
るためのフローチャートである。

【図２０】先行技術の動作を説明するためのフローチャ
ートである。

【符号の説明】

１カメラ２処理回路３制御回路１０フロントガラス１１ワイパ１２報知手段１６画像２３アナログ／デジタル変換器２４処理回路本体２５受光量調節手段３２照度計３３方位センサ

───────────────────────────────────────────────────── フロントページの続き (72)発明者馬場崎正博兵庫県神戸市兵庫区御所通１丁目２番28号富士通テン株式会社内 (72)発明者太田明宏兵庫県神戸市兵庫区御所通１丁目２番28号富士通テン株式会社内 (72)発明者岡謙治兵庫県神戸市兵庫区御所通１丁目２番28号富士通テン株式会社内 (72)発明者國友圭司兵庫県神戸市兵庫区御所通１丁目２番28号富士通テン株式会社内Ｆターム(参考） 5H180 AA01 BB17 CC04 CC24 LL01 LL02 LL09 5L096 BA04 CA02 DA03 FA06 FA32 FA37 FA38 GA08

Claims

【特許請求の範囲】

【請求項１】カメラと、カメラからの画像データを演算処理し、認識処理が不可
能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である
条件を報知する報知手段と、条件検出手段の出力に応答し、認識処理が可能であると
き、カメラからの画像データの認識処理をする認識処理
手段とを含むことを特徴とする画像認識装置。
【請求項２】カメラと、カメラからの画像データを演算処理し、認識処理が不可
能である条件を検出する条件検出手段と、条件検出手段の出力に応答し、カメラへの入力画像を補
正し、またはカメラからの画像データを補正する補正手
段と、入力画像が補正手段によって補正されたカメラからの画
像データ、または補正手段によって補正された画像デー
タの認識処理をする認識処理手段とを含むことを特徴と
する画像認識装置。
【請求項３】カメラと、カメラの周囲環境を検出するセンサと、カメラからの画像データの認識処理をする認識処理手段
と、センサの出力に応答し、認識処理手段によって、カメラ
からの画像データの認識処理が不可能である条件を検出
する条件検出手段と、条件検出手段の出力に応答し、認識処理が不可能である
条件を報知する報知手段とを含むことを特徴とする画像
認識装置。
【請求項４】条件検出手段は、センサの出力によって
検出された条件と、カメラからの画像データを演算処理
することによって検出された条件とが、一致したとき、
その条件を表す出力を報知手段に与えることを特徴とす
る請求項３記載の画像認識装置。