JP2000207563A - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JP2000207563A JP2000207563A JP11012333A JP1233399A JP2000207563A JP 2000207563 A JP2000207563 A JP 2000207563A JP 11012333 A JP11012333 A JP 11012333A JP 1233399 A JP1233399 A JP 1233399A JP 2000207563 A JP2000207563 A JP 2000207563A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- condition
- image data
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
よって走行方向前方を撮像し、道路の走行レーンを表示
する白線を認識処理し、運転支援、自動運転を行う。条
件検出手段は、カメラ1からの画像データを演算処理
し、認識処理が不可能である条件、たとえば逆光、雨上
がりなどによって画像が明るすぎるとき、夜間などで画
像が暗すぎるとき、薄暮、雪などによって画像が低コン
トラストであるとき、さらに逆光などによるスミアが発
生しているときなどの条件を検出する。報知手段12
は、このような認識処理が不可能である条件を報知す
る。したがってカメラ1が故障などして異常であった
か、またはカメラへの入力画像が異常、または不適切で
あったかを判断することができる。
Description
像した画像データによって物体などの認識処理を行う画
像認識装置に関し、特に自動車などの車両に搭載され、
自動車の前方、側方または後方などに光軸が向けられて
搭載された車載カメラからの画像データによって、たと
えば道路に描かれた走行レーンを表す白線および他の車
両の有無などを認識し、運転者に報知し、または車両の
運転制御を行う運転支援、自動運転装置に好適に実施さ
れる画像認識装置に関する。
像認識装置では、認識する対象物体であるたとえば道路
の白線または先行車両を、カメラからの画像データによ
って画像認識することができない場合、画像認識不可能
であると判断している。
るためのフローチャートである。ステップg1からステ
ップg2に移り、カメラからの画像データをコンピュー
タなどによって実現される処理手段に入力する。ステッ
プg3では、この画像データを用いて、道路上に描かれ
た走行レーンを表示する白線などの物体を認識する認識
処理を行う。ステップg4において認識処理が可能であ
るとき、ステップg5において白線の認識が可能である
ことを表す信号を導出し、ステップg7では、その信号
を用いて、運転支援、自動運転などのための動作が実施
される。ステップg6では、白線の認識処理が不可能で
あることを表す信号が導出され、これによって運転支
援、自動運転の動作が停止される。
が不可能である条件が、たとえば雨または雪などの周囲
環境によるのか、またはカメラもしくはそのカメラから
の画像データを認識処理する回路が故障して異常である
のかを判断することができない。したがって画像認識装
置の信頼性が劣る結果になる。
すなわち適用範囲を拡大すると、物体の認識率は向上す
るけれども、これと同時に、誤認識も増加することがあ
る。したがって操作者は、カメラからの画像データの認
識処理を適切に行うことができるか、または認識処理が
不可能であるかを知る必要が生じる。
カメラからの画像データの認識処理を適切に行うことが
できるかどうかを正確に判断することが、安全運転の観
点から必要であり、さもなければ、運転支援、自動運転
装置を使用することができなくなってしまう。
えば運転支援、自動運転装置などの用途において、カメ
ラによって撮像して得られる画像データを用いて対象物
体の認識処理を行うことができるかどうかを判断する画
像認識装置を提供することである。
メラからの画像データを演算処理し、認識処理が不可能
である条件を検出する条件検出手段と、条件検出手段の
出力に応答し、認識処理が不可能である条件を報知する
報知手段と、条件検出手段の出力に応答し、認識処理が
可能であるとき、カメラからの画像データの認識処理を
する認識処理手段とを含むことを特徴とする画像認識装
置である。
カメラからの画像データの認識処理を認識処理手段によ
って行うことができるかどうかを判断し、認識処理が不
可能であるとき、その条件、すなわち原因を検出し、報
知手段によって報知する。この報知手段は、液晶または
陰極線管などの2次元表示面を有する目視表示手段であ
ってもよく、または音声合成回路とスピーカとを有する
音響表示手段であってもよく、その他の構成を有する報
知手段であってもよい。したがってたとえば運転支援、
自動運転装置用画像処理装置において、カメラによって
撮像した先行車両を認識処理手段が認識処理することが
できない場合、先行車両がいないことによって認識でき
なかったのか、またはカメラからの画像データが異常で
ありもしくは動作が不適切であることによって認識でき
ないのかを、操作者は、知ることができる。こうして画
像認識装置の信頼性が確保される。
像データを演算処理し、認識処理が不可能である条件を
検出する条件検出手段と、条件検出手段の出力に応答
し、カメラへの入力画像を補正し、またはカメラからの
画像データを補正する補正手段と、入力画像が補正手段
によって補正されたカメラからの画像データ、または補
正手段によって補正された画像データの認識処理をする
認識処理手段とを含むことを特徴とする画像認識装置で
ある。
カメラからの画像データを認識処理手段が認識処理する
ことが不可能であると判断したとき、補正手段は、カメ
ラへの入力画像を補正し、たとえば(a)カメラの絞り
またはシャッタ速度を適正値に変更して露光条件を補正
し、または(b)自動車の車室内にカメラが搭載され、
車両の前方を撮像する構成において、フロントガラスの
外周面を払拭するワイパを自動的に作動させて正常な前
方の状況をカメラによって撮像することができるように
補正する。補正手段はまた、カメラからの画像データを
補正するように構成されてもよく、たとえば(c)カメ
ラからの画像データが、濃淡を表すアナログ信号である
場合、条件検出手段によって画像データが低コントラス
トであることが判断されたとき、アナログ信号をデジタ
ル信号に変換するアナログ/デジタル変換への感度を広
げ、すなわちアナログ信号のわずかな差毎に、デジタル
信号に変換するように構成し、こうしてカメラからの画
像データを補正することができる。
の画像データを用いて、またはカメラからの画像データ
を補正することによって、認識処理手段は、その画像デ
ータの認識処理を行うことができる。こうして条件検出
手段によって画像データの認識処理が不可能であると判
断されたとき、補正手段の働きによって、対応環境とさ
れる利用領域を拡大し、画像認識装置の性能を向上させ
ることができる。
境を検出するセンサと、カメラからの画像データの認識
処理をする認識処理手段と、センサの出力に応答し、認
識処理手段によって、カメラからの画像データの認識処
理が不可能である条件を検出する条件検出手段と、条件
検出手段の出力に応答し、認識処理が不可能である条件
を報知する報知手段とを含むことを特徴とする画像認識
装置である。
周囲環境を検出し、このセンサによって検出された周囲
環境が、認識処理手段によるカメラからの画像データの
認識処理が不可能である条件であるかを、条件検出手段
によって判断し、認識処理が不可能であるとき、報知手
段によって認識処理が不可能である条件を検出して判断
するために、カメラからの画像データを演算処理する必
要がなく、センサの出力を用いるようにしたので、演算
処理量を減少し、迅速な演算処理不可能条件の判断を行
うことができる。
出力によって検出された条件と、カメラからの画像デー
タを演算処理することによって検出された条件とが、一
致したとき、その条件を表す出力を報知手段に与えるこ
とを特徴とする。
データの認識処理が不可能である条件を、センサの出力
だけでなく、カメラからの画像データを演算処理するこ
とによってもまた検出する。こうして得られた認識処理
不可能の条件が一致したとき、その認識処理不可能な条
件を、報知手段によって報知するようにしたので、認識
処理が不可能である条件の判断を高精度で達成すること
ができるようになる。
画像認識装置を備える運転支援、自動運転装置の全体の
構成を示すブロック図である。カメラ1からの画像デー
タは、マイクロコンピュータによって実現される処理回
路2に与えられ、これによって制御回路3は、自動車の
車体を走行駆動する内燃機関4を制御するとともに、制
動手段5を制御する。カメラ1によって、自車よりも走
行方向前方を走行している先行車両を検出し、その先行
車両と自車との間の距離を処理手段2によって測定し、
この距離が予め定める値に保たれるように、制御回路3
は、内燃機関4と制動手段5とを制御し、こうして先行
車両が走行すると、自車も走行し、また先行車両が停止
すると自車も停止するように、自動運転が行われる。さ
らに処理手段2では、カメラ1によって撮像された画像
データを認識処理し、車両の前方の道路に描かれた走行
レーンを表す白線を検出する。この検出された白線が、
車両の左右に短い周期で変動したとき、運転者が居眠り
をしているものと判断して、たとえばブザーなどの音響
表示手段によって音響を発生し、居眠り運転を防止し、
運転支援を行う。
図である。運転者用座席7が設けられた車室8内には、
車体6の背後である走行方向後方を見るためのルームミ
ラーである反射鏡9が設けられ、この反射鏡9の走行方
向前方(図2の左方)にはカメラ1が設けられる。さら
にカメラ1の前方には、フロントガラス10が配置され
る。フロントガラス10の外表面は、ワイパ11によっ
て払拭することができる。
のフローチャートである。ステップa1からステップa
2に移り、カメラ1によって撮像された車体6の走行方
向前方の景色の画像データが処理回路2に入力される。
ステップa3では、カメラ1からの画像データを演算処
理し、道路に描かれた白線である物体の認識処理が不可
能である条件を検出して判断する。ステップa4におい
て白線である物体の認識処理が可能であるとき、ステッ
プa5では、その物体の認識処理を行う。ステップa6
では、物体の認識処理が行われ、その物体が認識された
かどうかが判断される。道路上の白線が検出されていれ
ば、ステップa7では、その物体である白線が認識され
たことを表す信号が導出される。これとは逆に、白線で
ある物体が認識されなければ、車体6は、道路の走行レ
ーンを外れて走行しているおそれがあり、このとき白線
が認識されていないことを表す信号を、ステップa8に
おいて導出する。ステップa9では、白線が認識されて
いるとき、車体6は走行レーンを走行しているものと判
断することができ、このとき制御回路3によって、内燃
機関4および制動手段5を制御して自動運転動作を行う
とともに、居眠り防止のための運転支援動作を行う。白
線がステップa8において認識されないとき、制御回路
3による自動運転動作を停止する。
る物体の認識処理が不可能である条件を検出したとき、
ステップa9では、その認識処理が不可能である条件
を、報知手段12によって報知する。報知手段12は、
たとえば液晶または陰極線管などの2次元表示面に目視
表示をする手段であってもよく、または音声合成回路と
スピーカを備えた音響表示手段であってもよく、その他
の報知を行う構成を有していてもよい。認識処理が不可
能である条件というのは、たとえば表1に示される条件
が挙げられる。
の一部をさらに詳細に示すフローチャートである。図4
のステップb2は、図3のステップa3と同一であっ
て、認識処理が不可能であるかどうかの判断を行うステ
ップである。図3のステップa4の具体的な動作は、図
4のステップb3〜b10に示される。これらの各ステ
ップb3〜b10の動作は、表2に示される画像の現象
1〜8にそれぞれ対応する。
段12の2次元表示面に表示された画像16を示す正面
図である。この2次元表示面16の画面全体17には、
斜線を施して示す道路部分18と、車体6の前部である
自車ボデー部19とが含まれる。
される判断動作が行われる。次のステップb3では、カ
メラ1によって撮像された画像が、逆光、雨上がりなど
の認識不可能条件によって、画像が明る過ぎるかが判断
される。この判断のために表2の判断動作1a〜1cが
実行される。
である。図6(1)に示されるように画面全体の画像が
逆光によって明る過ぎると判断する際、図6(2)に示
される濃度ヒストグラムを求める。この濃度ヒストグラ
ムは、横軸が階調1(黒)〜256(白)であり、縦軸
は、その濃度を有する画素数である。画面の各画素毎
に、8ビットから成る画像データが得られる。図6
(2)の濃度ヒストグラムでは、輝度値すなわち濃度の
分布の傾向が、ほとんど白であることが判る。このよう
な濃度ヒストグラムにおいて、たとえば濃度201以上
の画素数が予め定める値以上であるとき、画像が明る過
ぎると判断することができる。
の階調というのは、画像のデータをデジタル値に変換し
たときの明るさ、すなわち濃淡度を示し、モノクロ画像
の場合、1画素につき、8ビットの分解能0〜255の
値によって輝度値が表される。濃度ヒストグラムは、画
像の処理対象領域内の全画素を、各輝度値毎に分布状態
を求めたグラフである。
過ぎることを判断する判断動作1bでは、画面の一部分
(たとえば図5に示される道路部分18)の濃度ヒスト
グラムを求め、その輝度値の分布の傾向がほとんど白で
あるとき、画像が明る過ぎるものと判断する。本発明の
実施のさらに他の形態では、判断動作1cにおいて、カ
メラ1の入力画像において、常に同じ状態の部分(たと
えば図5の自車ボデー部19)の平均濃度を演算して求
め、この濃度値が通常走行時の平均濃度と比べ、予め定
める差以上の差があるとき、画像が明る過ぎると判断す
る。
て撮像された画像が、認識不可能条件である夜間などに
よって、画像が暗過ぎるかが判断される。図7(1)
は、夜間、カメラ1によって撮像された画像が暗過ぎる
状態を示すための図である。図7(1)では、暗過ぎる
画像を示し、図7(2)は、その図7(1)の画像の濃
度ヒストグラムである。この画像が暗過ぎるための判断
動作2aは、画面全体の濃度ヒストグラムを、図7
(2)に示されるようにして求め、その輝度値の分布の
傾向がほとんど黒であるとき、画像が暗過ぎるものと判
断する。すなわち濃度ヒストグラムにおいて、たとえば
濃度51未満における画素数が予め定める値以上である
とき、画像が暗過ぎるものと判断する。
は、画面の一部分(たとえば図5の道路部分18)の濃
度ヒストグラムを求め、その輝度値の分布の傾向がほと
んど黒であるとき、画像が暗過ぎるものと判断する。
2cでは、カメラ1の入力画像における常に同じ状態の
部分(たとえば図5の自車ボデー部19)の平均濃度を
求め、この濃度値が通常走行時の平均濃度と比べ、暗過
ぎるとき、画像が暗過ぎるものと判断する。
霧などによって低コントラストであるかが判断される。
図8は、画像が低コントラストであるときの状態を示す
図である。図8(1)は低コントラストの画像を示し、
図8(2)はその画像の濃度ヒストグラムを示す。画像
が低コントラストであると判断する判断動作3aでは、
画面全体の濃度ヒストグラムを求め、その輝度値の分布
の傾向が、一部に集中しているとき、画面が低コントラ
ストであるものと判断する。このために濃度ヒストグラ
ムにおいて予め定める画素数以上を有する濃度の範囲が
予め定める濃度値未満であるとき、低コントラストであ
るものと判断する。
ントラストであると判断する判断動作3bにおいて、画
面の一部分(たとえば図5の道路部分18)の濃度ヒス
トグラムを求め、その輝度値の分布の傾向が一部に集中
するとき、低コントラストであるものと判断する。
された画像にスミアが発生していることを判断し、この
ようなスミアの発生は、逆光などの認識不可能条件にお
いて発生する。スミアというのは、次の図9(1)に示
されるように、カメラ1の外光の影響で画面に発生する
縦縞模様をいう。
にスミアが発生した状態を説明するための図である。図
9(1)の画像では、スミアである縦縞模様20が表示
されている。この画像の垂直方向への濃度投影は図9
(2)に示される。図9(2)において横軸は、画面の
水平方向の位置であり、縦軸は垂直方向の各画素の濃度
の合計値である濃度和を表す。スミアの発生を判断する
判断動作4aでは、画像全体の垂直方向への濃度投影を
求め、その投影値の一部が参照符21で示されるように
突出しているとき、スミアが発生しているものと判断す
る。
ミアが発生している判断動作4aの具体的な動作を説明
するための図である。ステップc1からステップc2に
移り、図9(2)に示される画像全体の垂直方向への濃
度投影において、水平方向(図9(2)の横方向)に各
画素の位置毎に、まず、第1ピークp1が存在するかど
うか、すなわち両側の濃度和よりも高い濃度和を有する
位置であるかを判断する。次のステップc3では、その
第1ピークp1の両側±Lの範囲を設定する。この±L
は、たとえば自己の画素の位置の両側に±10画素分の
範囲である。ステップc4では、この範囲±Lにおける
第1ピークp1よりも高い、または低い第2ピークp2
を求める。ステップc5では、第1および第2ピークp
1,p2の差ΔP(=│p1−p2│)を演算して求め
る。ステップc6では、差Δpが、予め定める値Δp1
以上であるか(Δp≧Δp1)が判断される。差Δp
が、予め定める値Δp1以上であるとき、ステップc7
では、スミアが発生したものと判断する。
生を判断する判断動作4bにおいて、画面の一部分(た
とえば図5の道路部分18)の垂直方向への濃度投影を
求め、その投影値の一部が突出しているとき、スミアの
発生であると判断する。
メラ異常、フロントガラス10の汚れなどの認識不可能
条件によってぼやけており、すなわちぼんやりしている
ことが判断される。
明するための図であり、図12は同一被写体の画面が順
光においてぼやけていない明瞭である状態を説明するた
めの図である。図11(1)に示されるぼやけた画面の
画面全体の垂直方向への濃度投影は図11(2)に示さ
れる。図12(1)の明瞭な画面の画面全体の垂直方向
への濃度投影は図12(2)に示される。図11(2)
は、画面の水平方向の各画素位置に対応するエッジ値の
垂直方向の和を示し、このことは図12(2)において
も同様である。画面がぼやけているかどうかの判断動作
においては、エッジ抽出の手法が実行される。このエッ
ジ値は、画像中で、輝度値が急激に変化する部分を取出
した値であり、エッジ抽出を行うことによって、画像中
の物体の輪郭線を抽出することができる。
係数を示す図である。座標(i,j)のエッジ値をΔf
(i,j)とし、濃度値をf(i,j)とすると、 Δf(i,j)=f(i−1,j−1)+2f(i−1,j) +f(i−1,j+1)−f(i+1,j−1) −2f(i+1,j)−f(i+1,j+1) …(1) 画面がぼやけているという判断動作5aでは、画面全体
の図11(2)および図12(2)に示されるエッジ画
像を求め、予め定める所定数以上のエッジ値が得られな
いとき、画面がぼやけているものと判断する。本発明の
実施の他の形態では、画面がぼやけていると判断する判
断動作5bにおいて、画面の一部分(たとえば図5の道
路部分18)のエッジ画像を求め、所定数以上のエッジ
値が得られないとき、画面がぼやけていると判断する。
本発明の実施のさらに他の形態では、画面がぼやけてい
ると判断する判断動作5cにおいて、常に輪郭線が得ら
れる部分(たとえば図5の自車ボディ部19と道路との
境目部分)のエッジ値を求め、所定数以上のエッジ値が
得られないとき、画面がぼやけているものと判断する。
カメラ1による画像が、雨などがフロントガラス10の
外表面に付着するなどの認識不可能条件によって、にじ
んでいる状態を説明するための図である。図14(1)
では、にじんでいる画像が示され、図14(2)では、
図14(1)における画像の垂直方向へのエッジ投影を
示す。画像がにじんでいる際、判断動作6aでは、認識
した対象物体のエッジの長さおよび方向が不適切に歪ん
でいるとき、画像がにじんでいるものと判断する。エッ
ジの長さは、図14(2)において予め定めるエッジ和
が、予め定める値以上である長さL1が得られたとき、
画像がにじんでいるものと判断してもよい。
いるのにもかかわらず、カメラ1によって撮像される画
像が変化しない現象が生じたとき、カメラが故障などし
て異常であるなどの認識不可能条件を判断する判断動作
7aが行われる。この判断動作7aでは、車体6の車輪
速度を検出する検出手段からの出力が得られ、しかも順
次的な複数画面の画像が変化していないとき、画像が変
化なしと判断される。
て、車両が移動しているのにもかかわらず画像が変化無
と判断する判断動作7bにおいて、画像全体の前回の入
力画像との差分を求め、所定数以上の差分値が得られな
いとき、画像が変化無と判断する。差分というのは、時
間的に隣り合う2枚の画像の対応する各画素の輝度値の
差を求めた値であり、画像に変化が無ければ、または少
なければ、差分値は零または小さい値になる。こうして
前入力画像と今回の現在の画像との対応する画素毎の輝
度値の差を求めて、レベル弁別することによって、画像
が変化無であるものと判断することができる。
おいて、車両が移動しているのにもかかわらず、画像が
変化無と判断する判断動作7cにおいて、画面の一部分
(たとえば図5の道路部分18)の前入力画像と現在の
入力画像との差分を上述のように求め、所定数以上の差
分値が得られないとき、画像が変化無と判断する。
て、カメラの故障などに起因した異常である認識不可能
条件を判断する判断動作8aでは、カメラ1から得られ
る画像信号中に含まれる水平または垂直の同期信号のレ
ベルが異常であり、判断動作8bでは、その画像信号中
の映像信号のレベルが異常であり、判断動作8cでは、
画像信号中の同期信号の間隔すなわち周期が異常である
とき、カメラ異常である認識不可能条件が発生したもの
と判断する。画像信号とは、映像信号と水平、垂直の同
期信号とを含む複合映像信号である。NTSC(Nation
al TelevisionStandard Comittee)方式の同期信号で
は、白レベルおよび同期信号の上部分と底との値が定め
られ、また垂直同期信号の間隔は16.7msecであ
り、水平同期信号の間隔は63.5μsecに定められ
ている。
ステップb3〜b10で検出されたとき、認識処理が不
可能である条件を、図3のステップa9において報知手
段12によって報知される。
の構成を示すブロック図である。この実施の形態は、前
述の図1〜図14の実施の形態に類似し、対応する部分
には同一の参照符を付す。この実施の形態では、前述の
実施の形態における表2の画像の現象を判断して認識不
可能条件を報知した後、すぐに画像認識不可能と判断す
るのではなく、カメラ1への入力画像を補正し、または
カメラからの画像データを補正し、これによって画像認
識処理が可能である状態とする。図15においてフロン
トガラス10の外表面を払拭するワイパ11の駆動手段
が、処理回路2によって制御される。カメラ1からの画
像データのアナログ信号は、アナログ/デジタル変換器
23においてデジタル信号に変換され、処理回路本体2
4において前述と同様な演算処理動作が行われる。カメ
ラ1の受光量調節手段25は、処理手段2からの制御信
号に応答し、カメラ1の絞りおよび/またはシャッタ速
度を調整する。その他の構成と動作は、前述の実施の形
態と同様である。
処理回路本体24の動作を説明するためのフローチャー
トである。図16のステップd2,d4〜d8は、前述
の実施の形態における図3のステップa2,a5〜a9
と同様である。ステップd1からステップd2に移り、
カメラ1の画像データがアナログ/デジタル(A/D)
変換器23を経て処理回路本体24に与えられる。ステ
ップd3では、認識不可判断を行い、認識不可の場合に
入力画像データを補正する。その補正後に、認識処理を
行い、画像認識可能状態とし、またこのような補正後に
おいても認識処理が不可能であるとき、その認識処理が
不可能な領域を、認識処理領域から除外してもよい。ス
テップd4では、得られた補正後の画像データを認識処
理し、たとえば道路の前記白線などの物体の認識処理を
行う。認識不可能条件が存在しないとき、ステップd2
で与えられたカメラ1からの画像データが、ステップd
4においてそのまま認識処理される。その他の動作は、
前述の実施の形態と同様である。
実施の形態において、図16のステップd3のさらに具
体的な動作を説明するためのフローチャートである。ス
テップe1〜e5では、表3に示される画像の現象およ
び画像の認識処理不可能条件1〜4,6を、表2の判断
動作によって実行する。これらの画像の現象と認識不可
能条件1〜4,6は、表2に示される画像の現象および
認識不可能条件の参照符と同様である。
過ぎると判断されたときおよびステップe2において画
面が暗過ぎると判断されたとき、ステップe6に移り、
フラグaが論理「1」であるかが判断される。初期状態
において、フラグaは論理「0」である。そこでステッ
プe6からステップe7に移り、フラグaが論理「1」
にされ、ステップe8では、カメラ1に備えられる絞り
および/またはシャッタ速度が調整され、画像認識が可
能な状態に調整される。その後再びステップe1,e2
に戻る。絞りおよび/またはシャッタ速度が調整された
にもかかわらず、画像が明る過ぎたり、または画像が暗
過ぎたりしたとき、再びe6に移り、フラグaが論理
「1」であるので、次のステップe9では、画像の全体
の認識処理領域から、認識不可能条件を有する領域を外
す。ステップe10では、フラグaを論理「0」に戻
す。こうして前述の図16におけるステップd4で、物
体の認識処理を行う。
ントラストが低いと判断されたとき、ステップe11か
らステップe12に移り、フラグbが論理「1」とさ
れ、次のステップe13では、処理手段2に備えられて
いるアナログ/デジタル変換器23の感度を広げる。す
なわちアナログ/デジタル変換器23において、隣接す
るデジタル信号が表す入力アナログ信号のレベルの差を
大きくし、コントラストを高くするように調整される。
ステップe13の次に、再びステップe1〜e3に戻
り、ステップe11からステップe14に移る。画面が
依然として低コントラストであるとき、ステップe14
では、その認識不可能条件を有する領域を、画像全体の
認識処理領域から外し、次のステップe15では、フラ
グbを論理「0」に戻す。こうして図16のステップd
4において物体の認識処理を行う。
e4において判断されたとき、前述のステップe6に移
る。ステップe4においてスミアの発生が検出されたと
き、カメラ1に制御信号を送信し、スミアが発生しない
ようにレンズの絞りおよび/またはシャッタ速度を調整
して変更する。この画像中にスミアが発生したとき、上
述の調整動作によっては除外することができないとき、
画像認識処理を行う際に、スミアが発生している領域
を、認識処理領域から外す。これによってスミアが発生
するときであっても、認識処理を行うことができる。
に雨滴が付着しているという認識不可能条件が判断され
たとき、ステップe16からステップe17に移り、フ
ラグcが論理「1」とされる。ステップe18では、ワ
イパ11が駆動され、フロントガラス10の外表面が払
拭されて清浄化される。再びステップe5に戻り、ワイ
パ11が駆動されたにもかかわらず、雨滴が付着してい
るという認識不可能条件が判断されると、ステップe1
6からステップe19に移り、その認識不可能条件が存
在する領域が、画像の全体の認識処理領域から外され
る。ステップe20では、フラグcが論理「0」に戻さ
れる。その後物体の認識処理が図16のステップd4に
おいて実行される。
の全体の構成を示すブロック図である。この実施の形態
は前述の実施の形態に類似し、対応する部分には同一の
参照符を付す。この実施の形態では、カメラ1の画像デ
ータを用いた認識処理不可能条件である周囲環境を判断
するために、図18の参照符27〜34で示される各種
のセンサを用いる。各センサによる認識不可能条件は表
4に示されるとおりである。
動作を説明するためのフローチャートである。この図1
9のステップf1においてワイパの動作を検出するセン
サ27がワイパの動作が行われない状態であることを検
出し、または車体6に設けられた雨滴センサ28が降雨
状態を検出したとき、認識処理不可能条件を表す信号を
導出する。
μセンサ29によって検出し、その道路の摩擦係数μ
が、小さく、雨が降っている状態、雨上がりの状態また
は雪の状態である認識不可能条件を検出したとき、認識
不可能条件を表す信号を導出する。これによって報知手
段12は、たとえば「道路状態不良のため、道路の白線
が検出不可」と表示して報知する。
車体6に衝突する雨滴の音を検出する。音センサ30に
よって雨滴の音が検出されるとき、認識不可能条件を表
す信号を導出する。ステップf4では、車体6に設けら
れた高度計、湿度計、温度計を含むセンサ31によって
検出される高度、湿度および温度から霧が発生している
こと、したがって認識処理が不可能である条件を表す信
号を導出する。
おいて認識不可能条件である霧が発生していることが判
断されたとき、ステップf8ではさらに、カメラ1から
の画像データを演算処理し、前述の実施の形態と同様に
認識処理が不可能である条件を検出して判断する。この
ステップf8において得られた画像データの演算処理に
よる認識不可能条件が霧であることが判断され、したが
ってステップf4におけるセンサの出力によって検出さ
れた認識不可能条件である霧と一致したとき、その認識
不可能条件を、ステップf9で報知手段12によって報
知する。ステップf8における各検出された条件が一致
しないときには、認識処理を行うために、次のステップ
f5に移る。
8は省略され、ステップf4において認識不可能条件で
ある霧が検出されたとき、認識処理を行わないようにし
て、ステップf9において報知を行うようにしてもよ
い。
て、照度値が検出され、これによって認識不可能条件で
ある逆光または真暗であることが検出されると、認識処
理を行わず、この認識不可能条件である逆光または真暗
であることが報知手段12によって報知される。照度計
の代わりに、指向性が高い日射センサが用いられ、日射
強度が検出されるようにしてもよい。この日射センサに
よって、逆光または真暗である認識不可能条件を検出す
ることができる。
ンサ33によって、太陽の方向を推測し、これによって
カメラ1が逆光であることを判断したとき、この認識不
可能条件を報知手段12によって報知し、認識処理を行
わない。
(略称ナビ)が備えている車両の現在位置を検出するG
PS(Gloval Positioning System)装置からの衛星受
信状態をセンサ34によって検出し、受信できないと
き、認識不可能条件であるトンネル内を走行中であるこ
とを報知手段12によって報知し、認識処理を行わな
い。このGPS装置は、図18において参照符34で示
されている。こうしてナビゲーションシステムでは、車
両を、予め入力した目的地に到達するための経路を2次
元表示面で表示し、しかも現在の自車位置をその2次元
表示面上に表示された地図に表示する。このようなナビ
ゲーション装置におけるGPS装置の出力を用いて、画
像認識不可能条件を判断するので、認識不可能条件の判
断のための構成を簡略化することができる。ナビゲーシ
ョン装置に代えて、その他の各種の装置の構成の一部
を、認識不可能条件の検出のために兼用するようにして
もよい。
両に搭載されて実施されてもよいけれども、車両に搭載
されずに、実施されてもよい。
段によるカメラからの画像データの認識処理が不可能で
あるとき、その不可能である条件、すなわち原因を、条
件検出手段によって検出して判断し、報知手段によって
報知されるので、カメラへの入力画像が異常であったか
または不適切であったかどうかを操作者は判断すること
ができ、こうして画像認識装置の信頼性を確保すること
ができる。
によって、認識処理が不可能である条件が検出されて判
断されたとき、補正手段は、カメラへの入力画像を補正
し、またはカメラから得られる画像データを補正し、こ
れによって認識処理手段による対象物体の認識処理を可
能にし、したがって対応環境とされる利用領域を拡大
し、画像認識装置の性能を向上することができる。
による物体の認識処理が不可能であるかどうかを、周囲
環境を検出するセンサからの出力に基づいて条件検出手
段が判断するようにしたので、カメラからの画像データ
の演算処理による認識不可能かどうかの判断を行う必要
がなく、演算処理を軽減することができ、条件検出手段
による認識処理が不可能である条件の検出判断を迅速に
行うことができる。
によって検出された条件と、カメラからの画像データを
演算処理することによって検出された認識処理手段の認
識処理が不可能である条件とが、一致したとき、その一
致した条件を報知手段によって出力するので、認識不可
能の判断を高精度で行うことができ、画像認識装置の信
頼性をさらに向上することができる。
運転支援、自動運転装置の全体の構成を示すブロック図
である。
ートである。
らに詳細に示すフローチャートである。
元表示面に表示された画像16を示す正面図である。
状態を示す図である。
ぎる状態を示すための図である。
図である。
生した状態を説明するための図である。
ている判断動作4aの具体的な動作を説明するための図
である。
の図である。
ない明瞭である状態を説明するための図である。
である。
る。
ブロック図である。
24の動作を説明するためのフローチャートである。
おいて、図16のステップd3のさらに具体的な動作を
説明するためのフローチャートである。
を示すブロック図である。
るためのフローチャートである。
ートである。
Claims (4)
- 【請求項1】 カメラと、 カメラからの画像データを演算処理し、認識処理が不可
能である条件を検出する条件検出手段と、 条件検出手段の出力に応答し、認識処理が不可能である
条件を報知する報知手段と、 条件検出手段の出力に応答し、認識処理が可能であると
き、カメラからの画像データの認識処理をする認識処理
手段とを含むことを特徴とする画像認識装置。 - 【請求項2】 カメラと、 カメラからの画像データを演算処理し、認識処理が不可
能である条件を検出する条件検出手段と、 条件検出手段の出力に応答し、カメラへの入力画像を補
正し、またはカメラからの画像データを補正する補正手
段と、 入力画像が補正手段によって補正されたカメラからの画
像データ、または補正手段によって補正された画像デー
タの認識処理をする認識処理手段とを含むことを特徴と
する画像認識装置。 - 【請求項3】 カメラと、 カメラの周囲環境を検出するセンサと、 カメラからの画像データの認識処理をする認識処理手段
と、 センサの出力に応答し、認識処理手段によって、カメラ
からの画像データの認識処理が不可能である条件を検出
する条件検出手段と、 条件検出手段の出力に応答し、認識処理が不可能である
条件を報知する報知手段とを含むことを特徴とする画像
認識装置。 - 【請求項4】 条件検出手段は、センサの出力によって
検出された条件と、カメラからの画像データを演算処理
することによって検出された条件とが、一致したとき、
その条件を表す出力を報知手段に与えることを特徴とす
る請求項3記載の画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11012333A JP2000207563A (ja) | 1999-01-20 | 1999-01-20 | 画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11012333A JP2000207563A (ja) | 1999-01-20 | 1999-01-20 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000207563A true JP2000207563A (ja) | 2000-07-28 |
JP2000207563A5 JP2000207563A5 (ja) | 2006-04-06 |
Family
ID=11802390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11012333A Pending JP2000207563A (ja) | 1999-01-20 | 1999-01-20 | 画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000207563A (ja) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003174642A (ja) * | 2001-12-05 | 2003-06-20 | Mitsubishi Electric Corp | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 |
JP2004023158A (ja) * | 2002-06-12 | 2004-01-22 | Sharp Corp | 画像撮像装置 |
JP2005515565A (ja) * | 2002-01-17 | 2005-05-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 画像センサシステムにおける視界妨害物の識別方法および識別装置 |
JP2005143083A (ja) * | 2003-10-15 | 2005-06-02 | Fujitsu Ten Ltd | 画像処理装置、運転支援装置および運転支援システム |
JP2006119090A (ja) * | 2004-10-25 | 2006-05-11 | Mitsubishi Electric Corp | ナビゲーション装置 |
JP2007004689A (ja) * | 2005-06-27 | 2007-01-11 | Fujitsu Ten Ltd | 画像処理装置及び画像処理方法 |
JP2007318558A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ten Ltd | 画像処理装置 |
JP2009241636A (ja) * | 2008-03-28 | 2009-10-22 | Fuji Heavy Ind Ltd | 運転支援システム |
DE102009015142A1 (de) | 2008-03-27 | 2009-12-17 | Fuji Jukogyo K.K. | Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs |
JP2012118929A (ja) * | 2010-12-03 | 2012-06-21 | Fujitsu Ten Ltd | 外部環境判定装置及び外部環境判定プログラム |
JP2012141691A (ja) * | 2010-12-28 | 2012-07-26 | Fujitsu Ten Ltd | 映像処理装置 |
JP2014192762A (ja) * | 2013-03-27 | 2014-10-06 | Hitachi Kokusai Electric Inc | 監視システム |
JP2015207212A (ja) * | 2014-04-22 | 2015-11-19 | サクサ株式会社 | 車両検出装置、およびシステム、ならびにプログラム |
KR20160047865A (ko) * | 2014-10-23 | 2016-05-03 | 현대모비스 주식회사 | 차량 자율 주행 장치 및 차량 자율 주행 방법 |
JP2016161597A (ja) * | 2015-02-26 | 2016-09-05 | 株式会社ソシオネクスト | 画像処理装置、集積回路及びカメラ |
KR20170017203A (ko) * | 2015-08-05 | 2017-02-15 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
US9594965B2 (en) | 2014-08-20 | 2017-03-14 | Denso Corporation | Lane boundary lane recognition device and computer-readable storage medium storing program for recognizing lane boundary lines on roadway |
CN107402017A (zh) * | 2016-05-06 | 2017-11-28 | 福特全球技术公司 | 使用道路车道线质量的路线生成 |
WO2018135413A1 (ja) * | 2017-01-23 | 2018-07-26 | 株式会社デンソー | 運転支援システム、運転支援方法 |
JP2018169888A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社デンソー | 道路パラメータ推定装置 |
KR20190087796A (ko) * | 2018-01-17 | 2019-07-25 | 현대모비스 주식회사 | 차량의 긴급 제동 제어 방법 |
JP2019211852A (ja) * | 2018-05-31 | 2019-12-12 | トヨタ自動車株式会社 | 物体監視装置 |
CN110737266A (zh) * | 2019-09-17 | 2020-01-31 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置、车辆和存储介质 |
KR20200125189A (ko) * | 2019-04-26 | 2020-11-04 | 주식회사 만도 | 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 |
JP2021157716A (ja) * | 2020-03-30 | 2021-10-07 | 本田技研工業株式会社 | 車両制御装置 |
-
1999
- 1999-01-20 JP JP11012333A patent/JP2000207563A/ja active Pending
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003174642A (ja) * | 2001-12-05 | 2003-06-20 | Mitsubishi Electric Corp | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 |
US7609857B2 (en) | 2002-01-17 | 2009-10-27 | Robert Bosch Gmbh | Method and device for recognizing obstruction of view in image sensor systems |
JP2005515565A (ja) * | 2002-01-17 | 2005-05-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | 画像センサシステムにおける視界妨害物の識別方法および識別装置 |
JP2004023158A (ja) * | 2002-06-12 | 2004-01-22 | Sharp Corp | 画像撮像装置 |
JP2005143083A (ja) * | 2003-10-15 | 2005-06-02 | Fujitsu Ten Ltd | 画像処理装置、運転支援装置および運転支援システム |
JP2006119090A (ja) * | 2004-10-25 | 2006-05-11 | Mitsubishi Electric Corp | ナビゲーション装置 |
JP2007004689A (ja) * | 2005-06-27 | 2007-01-11 | Fujitsu Ten Ltd | 画像処理装置及び画像処理方法 |
JP2007318558A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ten Ltd | 画像処理装置 |
US8175334B2 (en) | 2008-03-27 | 2012-05-08 | Fuji Jukogyo Kabushiki Kaisha | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system |
DE102009015142A1 (de) | 2008-03-27 | 2009-12-17 | Fuji Jukogyo K.K. | Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs |
JP2009241636A (ja) * | 2008-03-28 | 2009-10-22 | Fuji Heavy Ind Ltd | 運転支援システム |
JP2012118929A (ja) * | 2010-12-03 | 2012-06-21 | Fujitsu Ten Ltd | 外部環境判定装置及び外部環境判定プログラム |
JP2012141691A (ja) * | 2010-12-28 | 2012-07-26 | Fujitsu Ten Ltd | 映像処理装置 |
US8948925B2 (en) | 2010-12-28 | 2015-02-03 | Fujitsu Ten Limited | Video processing device for determining video information status using analysis target specifying unit |
JP2014192762A (ja) * | 2013-03-27 | 2014-10-06 | Hitachi Kokusai Electric Inc | 監視システム |
JP2015207212A (ja) * | 2014-04-22 | 2015-11-19 | サクサ株式会社 | 車両検出装置、およびシステム、ならびにプログラム |
US9594965B2 (en) | 2014-08-20 | 2017-03-14 | Denso Corporation | Lane boundary lane recognition device and computer-readable storage medium storing program for recognizing lane boundary lines on roadway |
KR102310280B1 (ko) | 2014-10-23 | 2021-10-07 | 현대모비스 주식회사 | 차량 자율 주행 장치 및 차량 자율 주행 방법 |
KR20160047865A (ko) * | 2014-10-23 | 2016-05-03 | 현대모비스 주식회사 | 차량 자율 주행 장치 및 차량 자율 주행 방법 |
JP2016161597A (ja) * | 2015-02-26 | 2016-09-05 | 株式会社ソシオネクスト | 画像処理装置、集積回路及びカメラ |
KR20170017203A (ko) * | 2015-08-05 | 2017-02-15 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
US10127820B2 (en) | 2015-08-05 | 2018-11-13 | Lg Electronics Inc. | Driver assistance apparatus and vehicle including the same |
KR101714185B1 (ko) * | 2015-08-05 | 2017-03-22 | 엘지전자 주식회사 | 차량 운전 보조장치 및 이를 포함하는 차량 |
CN107402017A (zh) * | 2016-05-06 | 2017-11-28 | 福特全球技术公司 | 使用道路车道线质量的路线生成 |
CN110199518B (zh) * | 2017-01-23 | 2021-01-05 | 株式会社电装 | 驾驶辅助***、驾驶辅助方法 |
WO2018135413A1 (ja) * | 2017-01-23 | 2018-07-26 | 株式会社デンソー | 運転支援システム、運転支援方法 |
CN110199518A (zh) * | 2017-01-23 | 2019-09-03 | 株式会社电装 | 驾驶辅助***、驾驶辅助方法 |
JP2018169888A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社デンソー | 道路パラメータ推定装置 |
KR20190087796A (ko) * | 2018-01-17 | 2019-07-25 | 현대모비스 주식회사 | 차량의 긴급 제동 제어 방법 |
US11124164B2 (en) | 2018-01-17 | 2021-09-21 | Hyundai Mobis Co., Ltd. | Emergency braking control method for vehicle |
KR102037037B1 (ko) * | 2018-01-17 | 2019-10-28 | 현대모비스 주식회사 | 차량의 긴급 제동 제어 방법 |
US11760321B2 (en) | 2018-01-17 | 2023-09-19 | Hyundai Mobis Co., Ltd. | Emergency braking control method for vehicle |
JP2019211852A (ja) * | 2018-05-31 | 2019-12-12 | トヨタ自動車株式会社 | 物体監視装置 |
KR20200125189A (ko) * | 2019-04-26 | 2020-11-04 | 주식회사 만도 | 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 |
KR102638068B1 (ko) * | 2019-04-26 | 2024-02-21 | 주식회사 에이치엘클레무브 | 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 |
CN110737266A (zh) * | 2019-09-17 | 2020-01-31 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置、车辆和存储介质 |
CN110737266B (zh) * | 2019-09-17 | 2022-11-18 | 中国第一汽车股份有限公司 | 一种自动驾驶控制方法、装置、车辆和存储介质 |
JP2021157716A (ja) * | 2020-03-30 | 2021-10-07 | 本田技研工業株式会社 | 車両制御装置 |
JP7478570B2 (ja) | 2020-03-30 | 2024-05-07 | 本田技研工業株式会社 | 車両制御装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000207563A (ja) | 画像認識装置 | |
US11308720B2 (en) | Vehicular imaging system | |
JP5022609B2 (ja) | 撮像環境認識装置 | |
EP2351351B1 (en) | A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device | |
US10449899B2 (en) | Vehicle vision system with road line sensing algorithm and lane departure warning | |
US8249303B2 (en) | Restoration apparatus for weather-degraded image and driver assistance system | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
JP6364797B2 (ja) | 画像解析装置、および画像解析方法 | |
JP6811106B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
JP2018071994A (ja) | 付着物検出装置および付着物検出方法 | |
JP2014116756A (ja) | 周辺監視システム | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
CN110378836B (zh) | 获取对象的3d信息的方法、***和设备 | |
JPH09202180A (ja) | 車載カメラ装置 | |
JP2008098858A (ja) | 車両周辺監視装置 | |
JP2005033680A (ja) | 車両用画像処理装置 | |
JPH0948282A (ja) | 車両用間接視認装置 | |
JP2004200864A (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
EP2542453B1 (en) | Method and device of raindrop detection on a windscreen | |
JP2006078635A (ja) | 前方道路標示制御装置および前方道路標示制御プログラム | |
JP7439792B2 (ja) | 照度推定装置 | |
JP7472780B2 (ja) | 画像処理装置 | |
JP2023114882A (ja) | 遠隔操作システム、情報提供方法、及び遠隔オペレータ端末 | |
JP2023115753A (ja) | 遠隔操作システム、遠隔操作制御方法、及び遠隔オペレータ端末 | |
CN117125091A (zh) | 一种基于感知的智能驾驶辅助方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090317 |