JP3312729B2 - フェールセーフ機能を有する車外監視装置 - Google Patents
フェールセーフ機能を有する車外監視装置Info
- Publication number
- JP3312729B2 JP3312729B2 JP19985899A JP19985899A JP3312729B2 JP 3312729 B2 JP3312729 B2 JP 3312729B2 JP 19985899 A JP19985899 A JP 19985899A JP 19985899 A JP19985899 A JP 19985899A JP 3312729 B2 JP3312729 B2 JP 3312729B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- monitoring
- monitoring area
- area
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、撮像された画像が
ぼけている場合に、フェールセーフを行う車外監視装置
に関する。
ぼけている場合に、フェールセーフを行う車外監視装置
に関する。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、車外の対象物と自車輌との間の
距離等）を認識し、必要に応じて、ドライバーに注意を
喚起したり、シフトダウン等の車輌制御を行うものであ
る。ステレオ法による距離計測技術を用いて走行環境の
認識を行う場合、左右のカメラ（ステレオカメラ）によ
り撮像された画像対から、ある対象物の位置的な差（視
差）を求め、三角測量の原理を用いて、その対象物まで
の距離（距離情報）を得ることができる。
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、車外の対象物と自車輌との間の
距離等）を認識し、必要に応じて、ドライバーに注意を
喚起したり、シフトダウン等の車輌制御を行うものであ
る。ステレオ法による距離計測技術を用いて走行環境の
認識を行う場合、左右のカメラ（ステレオカメラ）によ
り撮像された画像対から、ある対象物の位置的な差（視
差）を求め、三角測量の原理を用いて、その対象物まで
の距離（距離情報）を得ることができる。
【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、外因によりカメラの焦点が
ぼやけ、撮像された画像がぼけてしまっている状況が挙
げられる。このような状況は、例えば、霧や吹雪等によ
る視界不良に起因して生じることがある。また、カメラ
のレンズやフロントガラスに関する曇りや汚れといった
撮像環境の悪化に起因して生じることもある。撮像され
た画像がぼけていると、車外の状況を把握するのに十分
な情報を得ることができず、的確な監視制御を行うこと
が困難となる。車外監視装置の安全性を高い次元で確保
するという観点でいえば、視界不良や撮像環境の悪化に
起因して撮像画像にぼけが生じている異常な状況では、
監視制御を一時的に中断させるフェールセーフ機能を働
かせる必要がある。
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、外因によりカメラの焦点が
ぼやけ、撮像された画像がぼけてしまっている状況が挙
げられる。このような状況は、例えば、霧や吹雪等によ
る視界不良に起因して生じることがある。また、カメラ
のレンズやフロントガラスに関する曇りや汚れといった
撮像環境の悪化に起因して生じることもある。撮像され
た画像がぼけていると、車外の状況を把握するのに十分
な情報を得ることができず、的確な監視制御を行うこと
が困難となる。車外監視装置の安全性を高い次元で確保
するという観点でいえば、視界不良や撮像環境の悪化に
起因して撮像画像にぼけが生じている異常な状況では、
監視制御を一時的に中断させるフェールセーフ機能を働
かせる必要がある。
【０００４】
【発明が解決しようとする課題】従来、車外監視装置の
実用化において不可欠なフェールセーフ機能が確立され
ておらず、装置の安全性を高い次元で確保するための課
題が残されていた。
実用化において不可欠なフェールセーフ機能が確立され
ておらず、装置の安全性を高い次元で確保するための課
題が残されていた。
【０００５】そこで、本発明の目的は、撮像画像にぼけ
が生じた場合に、比較的少ない演算量で、それを正確に
検出することにより、確実なフェールセーフを行い得る
車外監視装置を提供することである。
が生じた場合に、比較的少ない演算量で、それを正確に
検出することにより、確実なフェールセーフを行い得る
車外監視装置を提供することである。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、撮像手段により車外の景色
を撮像して得た画像データに基づいて対象物の距離デー
タを算出し、前記画像データと前記距離データとに基づ
いて走行環境を認識すると共に、画像におけるエッジ
数、輝度差に基づいて認識のフェールと判定されるとき
監視制御を中断するフェールセーフ機能を有する車外監
視装置において、撮像画像における中央上部に画像の水
平方向に延在する長方形状の第１の監視領域を設定して
該第１の監視領域の輝度平均値を算出する第１の算出手
段と、上記第１の監視領域において画像の垂直方向の各
画素対の輝度差を求め、所定値以上の輝度差を有する画
素対の数をエッジ数として算出する第２の算出手段と、
上記撮像画像を水平方向に所定画素づつ分割し画像の垂
直方向に延在する長方形状の複数の領域からなる第２の
監視領域を設定して、該第２の監視領域を構成する上記
長方形状の各領域毎に輝度和を求め、これら輝度和のば
らつきの程度を示す分散値を算出する第３の算出手段
と、上記第１の監視領域内における距離データの数をカ
ウントする第４の算出手段と、第１の監視領域の輝度平
均値が第１の判定値よりも高く、且つ、上記エッジ数が
第２の判定値よりも小さく、且つ、上記分散値が第３の
判定値よりも小さく、且つ、上記距離データの数が第４
の判定値よりも小さいとき、前記認識のフェールと判定
する判定手段とを備えたことを特徴とする。
め、請求項１記載の発明は、撮像手段により車外の景色
を撮像して得た画像データに基づいて対象物の距離デー
タを算出し、前記画像データと前記距離データとに基づ
いて走行環境を認識すると共に、画像におけるエッジ
数、輝度差に基づいて認識のフェールと判定されるとき
監視制御を中断するフェールセーフ機能を有する車外監
視装置において、撮像画像における中央上部に画像の水
平方向に延在する長方形状の第１の監視領域を設定して
該第１の監視領域の輝度平均値を算出する第１の算出手
段と、上記第１の監視領域において画像の垂直方向の各
画素対の輝度差を求め、所定値以上の輝度差を有する画
素対の数をエッジ数として算出する第２の算出手段と、
上記撮像画像を水平方向に所定画素づつ分割し画像の垂
直方向に延在する長方形状の複数の領域からなる第２の
監視領域を設定して、該第２の監視領域を構成する上記
長方形状の各領域毎に輝度和を求め、これら輝度和のば
らつきの程度を示す分散値を算出する第３の算出手段
と、上記第１の監視領域内における距離データの数をカ
ウントする第４の算出手段と、第１の監視領域の輝度平
均値が第１の判定値よりも高く、且つ、上記エッジ数が
第２の判定値よりも小さく、且つ、上記分散値が第３の
判定値よりも小さく、且つ、上記距離データの数が第４
の判定値よりも小さいとき、前記認識のフェールと判定
する判定手段とを備えたことを特徴とする。
【０００７】請求項２記載の発明は、請求項１記載の発
明において、上記第１の算出手段は、上記第１の監視領
域において画像の水平方向と垂直方向とにそれぞれ所定
数おきに画素をサンプルし、これらのサンプルの輝度の
平均を上記第１の監視領域の輝度平均値として算出し、
上記第２の算出手段は、上記第１の監視領域において画
像の垂直方向に所定数おきに隣り合う各画素対の輝度差
を求め、上記第３の算出手段は、上記第２の監視領域を
構成する長方形状の各領域の中間部をマスク領域として
演算対象から除外することを特徴とする。
明において、上記第１の算出手段は、上記第１の監視領
域において画像の水平方向と垂直方向とにそれぞれ所定
数おきに画素をサンプルし、これらのサンプルの輝度の
平均を上記第１の監視領域の輝度平均値として算出し、
上記第２の算出手段は、上記第１の監視領域において画
像の垂直方向に所定数おきに隣り合う各画素対の輝度差
を求め、上記第３の算出手段は、上記第２の監視領域を
構成する長方形状の各領域の中間部をマスク領域として
演算対象から除外することを特徴とする。
【０００８】
【０００９】
【００１０】
【００１１】
【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車両の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられており、フロントガラスを介して、車両前方
の景色を撮像する。車輌の進行方向に向かって右側に配
置されたメインカメラ１は、ステレオ処理を行う際に必
要な基準画像（右画像）を撮像し、左側に配置されたサ
ブカメラ２は、この処理における比較画像（左画像）を
撮像する。互いの同期している状態において、カメラ
１，２から出力された各アナログ画像は、Ａ／Ｄコンバ
ータ３，４により、所定の輝度階調（例えば、２５６階
調のグレースケール）のデジタル画像に変換される。デ
ジタル化された画像は、画像補正部５において、輝度の
補正や画像の幾何学的な変換等が行われる。通常、一対
のカメラ１，２の取付位置は、程度の差こそあれ誤差が
あるため、それに起因したずれが左右の画像に存在して
いる。このずれを補正するために、アフィン変換等を用
いて、画像の回転や平行移動等の幾何学的な変換が行わ
れる。このようにして補正された基準画像および比較画
像は、元画像メモリ８に格納される。
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車両の車
幅方向において所定の間隔で、ルームミラーの近傍に取
り付けられており、フロントガラスを介して、車両前方
の景色を撮像する。車輌の進行方向に向かって右側に配
置されたメインカメラ１は、ステレオ処理を行う際に必
要な基準画像（右画像）を撮像し、左側に配置されたサ
ブカメラ２は、この処理における比較画像（左画像）を
撮像する。互いの同期している状態において、カメラ
１，２から出力された各アナログ画像は、Ａ／Ｄコンバ
ータ３，４により、所定の輝度階調（例えば、２５６階
調のグレースケール）のデジタル画像に変換される。デ
ジタル化された画像は、画像補正部５において、輝度の
補正や画像の幾何学的な変換等が行われる。通常、一対
のカメラ１，２の取付位置は、程度の差こそあれ誤差が
あるため、それに起因したずれが左右の画像に存在して
いる。このずれを補正するために、アフィン変換等を用
いて、画像の回転や平行移動等の幾何学的な変換が行わ
れる。このようにして補正された基準画像および比較画
像は、元画像メモリ８に格納される。
【００１２】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車両から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。図３に示したような車両前方の景色に関
する撮像画像について考える。このような画像に関して
ステレオ法により距離データを計算した場合、例えば図
８のような距離画像が得られる。同図において、黒点で
示した部分は、画像の水平方向において互いに隣接した
画素間の輝度変化が大きい部分（すなわちエッジ部）で
あり、この部分が距離データ（奥行き）を有している。
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車両から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。図３に示したような車両前方の景色に関
する撮像画像について考える。このような画像に関して
ステレオ法により距離データを計算した場合、例えば図
８のような距離画像が得られる。同図において、黒点で
示した部分は、画像の水平方向において互いに隣接した
画素間の輝度変化が大きい部分（すなわちエッジ部）で
あり、この部分が距離データ（奥行き）を有している。
【００１３】マイコン９は、元画像メモリ８および距離
データメモリ７に格納された各情報に基づき、車両前方
の道路状態等を認識したり（道路認識部１０）、車両前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜２１を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。
データメモリ７に格納された各情報に基づき、車両前方
の道路状態等を認識したり（道路認識部１０）、車両前
方の立体物（走行車）等を認識する（立体物認識部１
１）。そして、処理部１３は、これらの認識部１０，１
１からの情報から警報が必要と判定された場合、モニタ
やスピーカー等の警報装置１９によりドライバーに対し
て注意を促したり、或いは、必要に応じて、各種制御部
１４〜２１を制御する。例えば、ＡＴ（自動変速機）制
御部１４に対して、シフトダウンを実行する旨を指示す
る。また、エンジン制御部１８に対してエンジン出力を
低下する旨指示してもよい。その他にも、アンチロック
ブレーキシステム（ＡＢＳ）制御部１５、トラクション
コントロールシステム（ＴＣＳ）制御部１６、或いは、
各車輪のトルク配分や回転数を制御する車輌挙動制御部
１７に対して、適切な車輌制御を指示することも可能で
ある。
【００１４】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報と距離データメモリ７に
記憶された距離情報とに基づいて、後述するルーチンに
従ってフェール判定を行う。フェールと判定されている
期間、すなわち、後述するフェール判定ルーチンにより
フェールフラグＮＧが１にセットされている期間は、道
路や立体物の誤認識にともなう装置の誤動作等を防ぐた
めに、上述した車輌制御等が一時的に中断される。
モリ８に記憶された元画像情報と距離データメモリ７に
記憶された距離情報とに基づいて、後述するルーチンに
従ってフェール判定を行う。フェールと判定されている
期間、すなわち、後述するフェール判定ルーチンにより
フェールフラグＮＧが１にセットされている期間は、道
路や立体物の誤認識にともなう装置の誤動作等を防ぐた
めに、上述した車輌制御等が一時的に中断される。
【００１５】なお、詳細については後述するが、フェー
ル判定時において、処理部１３は、ワイパーやデフロス
ターを作動させるべく、ワイパー制御部２０やデフロス
ター制御部２１に対する所定の指示を行うようにしても
よい。
ル判定時において、処理部１３は、ワイパーやデフロス
ターを作動させるべく、ワイパー制御部２０やデフロス
ター制御部２１に対する所定の指示を行うようにしても
よい。
【００１６】図２は、画像ぼけによるフェールの判定ル
ーチンを示したフローチャートである。このルーチン
は、フェール判定部１２において、所定の制御周期（例
えば１００ｍｓ）ごとに繰り返し実行される。フェール
フラグＮＧが１にセットされた場合、処理部１３は、本
車外監視装置のフェールセーフを実行する。
ーチンを示したフローチャートである。このルーチン
は、フェール判定部１２において、所定の制御周期（例
えば１００ｍｓ）ごとに繰り返し実行される。フェール
フラグＮＧが１にセットされた場合、処理部１３は、本
車外監視装置のフェールセーフを実行する。
【００１７】まず、フェール判定部１２は、距離データ
メモリ７および元画像メモリ８から、撮像画像の距離デ
ータと画素の輝度値（画像データ）とをそれぞれ読み出
す（ステップ１）。
メモリ７および元画像メモリ８から、撮像画像の距離デ
ータと画素の輝度値（画像データ）とをそれぞれ読み出
す（ステップ１）。
【００１８】次に、第１の監視領域Ｒ１における全体的
な輝度の大きさを示す輝度平均値Ｓが算出される（ステ
ップ２）。画像ぼけが生じているか否かは、第１の監視
領域Ｒ１（および後述する第２の監視領域Ｒ２）内の輝
度に基づいて判断される。図３は、画像領域に設定され
た第１の監視領域Ｒ１を説明するための図である。第１
の監視領域Ｒ１は、２００×５１２画素のサイズを有す
る画像領域の中央上部に設定され、所定のサイズを有す
る長方形状（画像の水平方向に延在）の領域である。こ
こに監視領域を設定した理由は、自車輌の前方を一般的
な車間距離で走行する他車輌（すなわち最も注意すべき
監視対象）が、この領域内に映し出されることが多いの
で、この領域の画像ぼけが特に問題となるからである。
な輝度の大きさを示す輝度平均値Ｓが算出される（ステ
ップ２）。画像ぼけが生じているか否かは、第１の監視
領域Ｒ１（および後述する第２の監視領域Ｒ２）内の輝
度に基づいて判断される。図３は、画像領域に設定され
た第１の監視領域Ｒ１を説明するための図である。第１
の監視領域Ｒ１は、２００×５１２画素のサイズを有す
る画像領域の中央上部に設定され、所定のサイズを有す
る長方形状（画像の水平方向に延在）の領域である。こ
こに監視領域を設定した理由は、自車輌の前方を一般的
な車間距離で走行する他車輌（すなわち最も注意すべき
監視対象）が、この領域内に映し出されることが多いの
で、この領域の画像ぼけが特に問題となるからである。
【００１９】輝度平均値Ｓは、第１の監視領域Ｒ１内の
すべての画素の輝度値を対象として算出することも可能
である。しかしながら、本実施例では、演算量の低減を
図るために、その領域内において均一に分散するような
画素を算出対象としている。一例として、図４に示した
ように、画像の水平方向に４画素ごと、垂直方向に２画
素ごとにサンプルを抽出し、これらのサンプルの輝度値
の平均を輝度平均値Ｓとしている。第１の監視領域Ｒ１
内において均一に分散するような画素をサンプルとすれ
ば、監視領域Ｒ１の全体的な輝度の状態を比較的正確に
反映した輝度平均値Ｓを求めることができる。
すべての画素の輝度値を対象として算出することも可能
である。しかしながら、本実施例では、演算量の低減を
図るために、その領域内において均一に分散するような
画素を算出対象としている。一例として、図４に示した
ように、画像の水平方向に４画素ごと、垂直方向に２画
素ごとにサンプルを抽出し、これらのサンプルの輝度値
の平均を輝度平均値Ｓとしている。第１の監視領域Ｒ１
内において均一に分散するような画素をサンプルとすれ
ば、監視領域Ｒ１の全体的な輝度の状態を比較的正確に
反映した輝度平均値Ｓを求めることができる。
【００２０】ステップ２に続くステップ３において、輝
度平均値Ｓが所定の判定しきい値Ｓthよりも大きいか否
かが判定される。霧や吹雪等による視界不良、或いは、
カメラのレンズやフロントガラスの曇り等による撮像環
境の悪化に起因して、撮像された画像がぼけている状況
では、画像の全体的な輝度は大きくなる傾向にある。し
たがって、このような傾向を考慮した適切な判定しきい
値Ｓthを設定し、この値と輝度平均値Ｓとの大小関係を
比較すれば、画像ぼけが生じている可能性があるか否か
を判定することができる。このステップで否定判定され
た場合、すなわち、輝度平均値Ｓが判定しきい値Ｓth以
下の場合は、画像ぼけが生じていないものと判断する。
この場合は、フェールフラグＮＧは０にセットされ（ス
テップ１２）、通常の監視制御が行われる。
度平均値Ｓが所定の判定しきい値Ｓthよりも大きいか否
かが判定される。霧や吹雪等による視界不良、或いは、
カメラのレンズやフロントガラスの曇り等による撮像環
境の悪化に起因して、撮像された画像がぼけている状況
では、画像の全体的な輝度は大きくなる傾向にある。し
たがって、このような傾向を考慮した適切な判定しきい
値Ｓthを設定し、この値と輝度平均値Ｓとの大小関係を
比較すれば、画像ぼけが生じている可能性があるか否か
を判定することができる。このステップで否定判定され
た場合、すなわち、輝度平均値Ｓが判定しきい値Ｓth以
下の場合は、画像ぼけが生じていないものと判断する。
この場合は、フェールフラグＮＧは０にセットされ（ス
テップ１２）、通常の監視制御が行われる。
【００２１】なお、判定しきい値Ｓthは、車外の景色の
明るさによって、その値を変えることが好ましい。例え
ば、夜の場合は、判定しきい値Ｓを昼の場合よりも低く
設定する。車外の景色の明るさは、例えば、カメラのシ
ャッタースピードによって判断することが可能である。
明るさによって、その値を変えることが好ましい。例え
ば、夜の場合は、判定しきい値Ｓを昼の場合よりも低く
設定する。車外の景色の明るさは、例えば、カメラのシ
ャッタースピードによって判断することが可能である。
【００２２】一方、ステップ３で肯定判定された場合
は、画像ぼけが生じている可能性があるということにな
る。そこで、画像ぼけの有無をさらに検証するために、
第１の監視領域Ｒ１のエッジ数Ｎが算出される（ステッ
プ４）。ここいう「エッジ数」とは、所定の規則にした
がって抽出された複数の画素対のうち、予め設定された
値よりも大きな輝度変化量を有する画素対の数をいう。
本実施例では、演算量を抑えるために、図４に示したよ
うに、画像の垂直方向において２画素ごとに隣り合う画
素対を対象としてエッジ数を算出している。第１の監視
領域Ｒ１内における上記の画素対のすべてに関する輝度
差ΔＰを求め、所定値以上の輝度差を有する画素対の数
がエッジ数Ｎとなる。
は、画像ぼけが生じている可能性があるということにな
る。そこで、画像ぼけの有無をさらに検証するために、
第１の監視領域Ｒ１のエッジ数Ｎが算出される（ステッ
プ４）。ここいう「エッジ数」とは、所定の規則にした
がって抽出された複数の画素対のうち、予め設定された
値よりも大きな輝度変化量を有する画素対の数をいう。
本実施例では、演算量を抑えるために、図４に示したよ
うに、画像の垂直方向において２画素ごとに隣り合う画
素対を対象としてエッジ数を算出している。第１の監視
領域Ｒ１内における上記の画素対のすべてに関する輝度
差ΔＰを求め、所定値以上の輝度差を有する画素対の数
がエッジ数Ｎとなる。
【００２３】ステップ５では、ステップ４で算出された
エッジ数Ｎが所定の判定しきい値Ｎthよりも小さいか否
かが判断される。ぼけているような異常画像では、本
来、輝度が急激に変化すべき箇所（エッジ部）における
輝度変化が緩やかになる傾向にある（それゆえ人間が視
覚的にぼけているように感じる）。したがって、通常の
景色を映し出している状態では、それ以下になることは
殆どないエッジ数Ｎthを実験的に求めておき、これをぼ
け判断のしきい値として用いれば、画像にぼけが生じて
いる可能性があるか否かを判断することができる。この
ステップで否定判定された場合、すなわち、エッジ数Ｎ
が判定しきい値Ｎth以上の場合は、画像中にぼけは生じ
ていないものと判断され、フェールフラグＮＧは０にセ
ットされる（ステップ１２）。
エッジ数Ｎが所定の判定しきい値Ｎthよりも小さいか否
かが判断される。ぼけているような異常画像では、本
来、輝度が急激に変化すべき箇所（エッジ部）における
輝度変化が緩やかになる傾向にある（それゆえ人間が視
覚的にぼけているように感じる）。したがって、通常の
景色を映し出している状態では、それ以下になることは
殆どないエッジ数Ｎthを実験的に求めておき、これをぼ
け判断のしきい値として用いれば、画像にぼけが生じて
いる可能性があるか否かを判断することができる。この
ステップで否定判定された場合、すなわち、エッジ数Ｎ
が判定しきい値Ｎth以上の場合は、画像中にぼけは生じ
ていないものと判断され、フェールフラグＮＧは０にセ
ットされる（ステップ１２）。
【００２４】一方、ステップ５で肯定判定された場合、
画像にぼけが生じている可能性が高い。第１の監視領域
Ｒ１の全体的な輝度が大きく、かつ、その領域Ｒ１内の
輝度の変化が少ない状況は、ぼけた画像の典型的な特徴
だからである。したがって、ステップ３およびステップ
５に示した２つの条件を満たせば、画像ぼけが生じてい
るものと推定して、フェールセーフを行うようにするこ
とも可能である。しかしながら、本願の発明者が様々な
実験を行った結果、ぼけが生じていない正常画像におい
てもこれらの条件を満たすような状況が存在することが
判明した。例えば、自車輌が登り坂を走行している場
合、第１の監視領域Ｒ１に空が映し出されることがあ
る。このような状況では、第１の監視領域Ｒ１の輝度平
均値Ｓが比較的大きくなると共に、この領域内のエッジ
数Ｎが少なくなる。発明者が検討を行った結果、このよ
うな正常な画像と画像ぼけとの区別は、判定しきい値Ｓ
th，Ｎthを最適化するという手法よりも、画像全体にお
ける水平方向の輝度分散を検証する手法が有効であるこ
とがわかった。そこで、このような分散を検証すべく、
以下のステップ６〜８の手順が実行される。
画像にぼけが生じている可能性が高い。第１の監視領域
Ｒ１の全体的な輝度が大きく、かつ、その領域Ｒ１内の
輝度の変化が少ない状況は、ぼけた画像の典型的な特徴
だからである。したがって、ステップ３およびステップ
５に示した２つの条件を満たせば、画像ぼけが生じてい
るものと推定して、フェールセーフを行うようにするこ
とも可能である。しかしながら、本願の発明者が様々な
実験を行った結果、ぼけが生じていない正常画像におい
てもこれらの条件を満たすような状況が存在することが
判明した。例えば、自車輌が登り坂を走行している場
合、第１の監視領域Ｒ１に空が映し出されることがあ
る。このような状況では、第１の監視領域Ｒ１の輝度平
均値Ｓが比較的大きくなると共に、この領域内のエッジ
数Ｎが少なくなる。発明者が検討を行った結果、このよ
うな正常な画像と画像ぼけとの区別は、判定しきい値Ｓ
th，Ｎthを最適化するという手法よりも、画像全体にお
ける水平方向の輝度分散を検証する手法が有効であるこ
とがわかった。そこで、このような分散を検証すべく、
以下のステップ６〜８の手順が実行される。
【００２５】まず、画像領域中に設定された第２の監視
領域Ｒ２の輝度和Ａを算出する（ステップ６）。図５
は、画像領域中に設定された第２の監視領域Ｒ２を説明
するための図である。２００×５１２画素のサイズを有
する画像領域を、水平方向に１６画素ずつ分割して、そ
れぞれが２００×１６画素のサイズを有する長方形状
（画像の垂直方向に延在）の複数の領域Ｎi（１≦ｉ≦3
2）を設定する。第２の監視領域Ｒ２は、これら３２個
の領域Ｎiで構成されている。第２の監視領域Ｒ２は、
画像領域全体における水平方向の輝度分布を調べるため
に設定される領域である。したがって、輝度分布の精度
を高めるためには、第２の監視領域Ｒ２の水平方向長
を、第１の監視領域のそれよりも大きくすることが好ま
しい。また、演算量の増加を抑えるために、各領域Ｎi
の中間部をマスク領域（同図においてハッチングで示し
た領域）として、演算対象から除外している。そして、
それぞれの領域Ｎiについて、その領域全体の輝度の大
きさを調べるために、輝度和Ａiが算出される。ある領
域Ｎiにおける輝度和Ａiは、その領域Ｎi内において均
一に分散するような複数の画素をサンプルとして抽出
し、それらの輝度値を加算した値（またはそれらの平均
値）として算出することができる。例えば、水平／垂直
方向ともに４画素ごとにサンプルを抽出してもよい。領
域Ｎi内において均一に分散するようなサンプルを用い
れば、その領域Ｎi内の輝度状態の特徴を適切に反映し
た輝度和Ａiを、少ない演算量で算出することができ
る。演算量を考慮しないのであれば、領域Ｎi内に含ま
れるすべての画素の輝度値を加算することにより、輝度
値Ａiを算出することも当然可能である。
領域Ｒ２の輝度和Ａを算出する（ステップ６）。図５
は、画像領域中に設定された第２の監視領域Ｒ２を説明
するための図である。２００×５１２画素のサイズを有
する画像領域を、水平方向に１６画素ずつ分割して、そ
れぞれが２００×１６画素のサイズを有する長方形状
（画像の垂直方向に延在）の複数の領域Ｎi（１≦ｉ≦3
2）を設定する。第２の監視領域Ｒ２は、これら３２個
の領域Ｎiで構成されている。第２の監視領域Ｒ２は、
画像領域全体における水平方向の輝度分布を調べるため
に設定される領域である。したがって、輝度分布の精度
を高めるためには、第２の監視領域Ｒ２の水平方向長
を、第１の監視領域のそれよりも大きくすることが好ま
しい。また、演算量の増加を抑えるために、各領域Ｎi
の中間部をマスク領域（同図においてハッチングで示し
た領域）として、演算対象から除外している。そして、
それぞれの領域Ｎiについて、その領域全体の輝度の大
きさを調べるために、輝度和Ａiが算出される。ある領
域Ｎiにおける輝度和Ａiは、その領域Ｎi内において均
一に分散するような複数の画素をサンプルとして抽出
し、それらの輝度値を加算した値（またはそれらの平均
値）として算出することができる。例えば、水平／垂直
方向ともに４画素ごとにサンプルを抽出してもよい。領
域Ｎi内において均一に分散するようなサンプルを用い
れば、その領域Ｎi内の輝度状態の特徴を適切に反映し
た輝度和Ａiを、少ない演算量で算出することができ
る。演算量を考慮しないのであれば、領域Ｎi内に含ま
れるすべての画素の輝度値を加算することにより、輝度
値Ａiを算出することも当然可能である。
【００２６】そして、ステップ６において算出された輝
度和Ａiのばらつきの程度を示す分散値ＶＡＲが、下式
に基づいて算出される（ステップ７）。
度和Ａiのばらつきの程度を示す分散値ＶＡＲが、下式
に基づいて算出される（ステップ７）。
【数１】ＶＡＲ2＝｛（Ａ1−Ａave）2＋(Ａ2−Ａave）2
＋ ・・・ ＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−
（ΣＡi／ｎ）2 ｎ：監視領域の数（＝３２） Ａave：輝度和の平均値
＋ ・・・ ＋（Ａn−Ａave）2｝／ｎ＝Σ（Ａi2）／ｎ−
（ΣＡi／ｎ）2 ｎ：監視領域の数（＝３２） Ａave：輝度和の平均値
【００２７】ここで、ぼけ画像と輝度和Ａiの分散値Ｖ
ＡＲとの関係を、図６と図７とに基づいて説明する。図
６は、正常画像における輝度和Ａiの特性を示した図で
ある。また、図７は、ぼけが生じた画像（異常画像）に
おける輝度和Ａiの特性を示した図である。これらの特
性は、画像の水平方向における輝度分布の特性であると
いってもよい。正常画像においては、車外の景色を正常
に撮像しているため、輝度和Ａiのばらつきが比較的大
きくなる。これに対して、ぼけが生じていると、輝度和
Ａiのばらつきが、通常画像と比べて小さくなる。そこ
で、正常画像では生じ得ないような分散値ＶＡＲthを実
験等により求め、これを判定しきい値として用いれば、
画像ぼけの判定を行うことができる（ステップ８）。
ＡＲとの関係を、図６と図７とに基づいて説明する。図
６は、正常画像における輝度和Ａiの特性を示した図で
ある。また、図７は、ぼけが生じた画像（異常画像）に
おける輝度和Ａiの特性を示した図である。これらの特
性は、画像の水平方向における輝度分布の特性であると
いってもよい。正常画像においては、車外の景色を正常
に撮像しているため、輝度和Ａiのばらつきが比較的大
きくなる。これに対して、ぼけが生じていると、輝度和
Ａiのばらつきが、通常画像と比べて小さくなる。そこ
で、正常画像では生じ得ないような分散値ＶＡＲthを実
験等により求め、これを判定しきい値として用いれば、
画像ぼけの判定を行うことができる（ステップ８）。
【００２８】このステップで否定判定された場合、すな
わち、分散値ＶＡＲが判定しきい値ＶＡＲth以上の場合
には、正常画像（例えば第１の監視領域Ｒ１に空が映し
出されている画像）であると判断されるため、フェール
フラグＮＧは０にセットされる（ステップ１２）。一
方、ステップ８で肯定判定された場合（すなわち、撮像
画像が、ぼけの典型的な特徴である水平方向に輝度ばら
つきが小さいという特徴を有している場合）、画像ぼけ
が生じている可能性が非常に高い。発明者が検証した結
果、ステップ３，５および８における３つの条件だけで
も、かなりの精度でぼけ画像と正常画像とを区別できる
ことが確認された。
わち、分散値ＶＡＲが判定しきい値ＶＡＲth以上の場合
には、正常画像（例えば第１の監視領域Ｒ１に空が映し
出されている画像）であると判断されるため、フェール
フラグＮＧは０にセットされる（ステップ１２）。一
方、ステップ８で肯定判定された場合（すなわち、撮像
画像が、ぼけの典型的な特徴である水平方向に輝度ばら
つきが小さいという特徴を有している場合）、画像ぼけ
が生じている可能性が非常に高い。発明者が検証した結
果、ステップ３，５および８における３つの条件だけで
も、かなりの精度でぼけ画像と正常画像とを区別できる
ことが確認された。
【００２９】なお、本実施例では、さらに、ステップ
９，１０の手順を実行することにより、ぼけ画像の判別
の精度を向上させている。まず、第１の監視領域Ｒ１内
の距離データの出力数Ｄをカウントする（ステップ
９）。距離データは、ＤＣＤＸを用いた場合、水平方向
で隣接した画素の輝度差が大きい部分（すなわち、横方
向のエッジ部）において算出される。すなわち、距離デ
ータの出力数Ｄが大きいということは、水平方向の輝度
変化量が大きい画素対が多数存在するということであ
る。上述したように、ぼけ画像の特徴として、隣接画素
間の輝度変化が少なくなる傾向がある。このような特徴
から、ぼけ画像であれば、水平方向の画素対の輝度変化
量が少なくなるので、距離データの出力数Ｄも少なくな
る。したがって、正常な画像ではあまり生じ得ないよう
な距離データの出力数Ｄthを判定しきい値として用いれ
ば、画像ぼけの有無を判定することができる（ステップ
１０）。
９，１０の手順を実行することにより、ぼけ画像の判別
の精度を向上させている。まず、第１の監視領域Ｒ１内
の距離データの出力数Ｄをカウントする（ステップ
９）。距離データは、ＤＣＤＸを用いた場合、水平方向
で隣接した画素の輝度差が大きい部分（すなわち、横方
向のエッジ部）において算出される。すなわち、距離デ
ータの出力数Ｄが大きいということは、水平方向の輝度
変化量が大きい画素対が多数存在するということであ
る。上述したように、ぼけ画像の特徴として、隣接画素
間の輝度変化が少なくなる傾向がある。このような特徴
から、ぼけ画像であれば、水平方向の画素対の輝度変化
量が少なくなるので、距離データの出力数Ｄも少なくな
る。したがって、正常な画像ではあまり生じ得ないよう
な距離データの出力数Ｄthを判定しきい値として用いれ
ば、画像ぼけの有無を判定することができる（ステップ
１０）。
【００３０】なお、ステップ３とステップ１０は、第１
の監視領域Ｒ１内の垂直方向の輝度変化と水平方向の輝
度変化とをそれぞれ検証したステップである。ステップ
３は、垂直方向の輝度変化を検証するものであり、水平
方向に関しては考慮していない。そこで、ステップ３を
補完すべくステップ１０を設けている。これにより、第
１の監視領域Ｒ１の垂直および水平の両方向の輝度変化
を検証できるので、画像ぼけの判定精度を一層向上させ
ることができる。
の監視領域Ｒ１内の垂直方向の輝度変化と水平方向の輝
度変化とをそれぞれ検証したステップである。ステップ
３は、垂直方向の輝度変化を検証するものであり、水平
方向に関しては考慮していない。そこで、ステップ３を
補完すべくステップ１０を設けている。これにより、第
１の監視領域Ｒ１の垂直および水平の両方向の輝度変化
を検証できるので、画像ぼけの判定精度を一層向上させ
ることができる。
【００３１】ステップ１０で否定判定された場合、すな
わち、出力数Ｄが所定の判定しきい値Ｄth以上である場
合は、フェールフラグＮＧは０にセットされ（ステップ
１２）、肯定判定された場合は、フェールフラグＮＧは
１にセットされる（ステップ１１）。
わち、出力数Ｄが所定の判定しきい値Ｄth以上である場
合は、フェールフラグＮＧは０にセットされ（ステップ
１２）、肯定判定された場合は、フェールフラグＮＧは
１にセットされる（ステップ１１）。
【００３２】なお、実際の制御においては、車外監視の
信頼性を確保するために、ＮＧフラグの切り換えは、フ
ェールの判定が所定のサイクル分だけ継続した場合に行
うようにすることが好ましい。例えば、フェールフラグ
ＮＧを０から１にセットする場合、ステップ１１におけ
る手順が５サイクル（0.5秒）継続した場合に変更す
る。また、フェールフラグＮＧを１から０にセットする
場合、ステップ１２における手順が２０サイクル（2.0
秒）継続した場合に変更する。
信頼性を確保するために、ＮＧフラグの切り換えは、フ
ェールの判定が所定のサイクル分だけ継続した場合に行
うようにすることが好ましい。例えば、フェールフラグ
ＮＧを０から１にセットする場合、ステップ１１におけ
る手順が５サイクル（0.5秒）継続した場合に変更す
る。また、フェールフラグＮＧを１から０にセットする
場合、ステップ１２における手順が２０サイクル（2.0
秒）継続した場合に変更する。
【００３３】また、本ルーチンによりフェールフラグＮ
Ｇが１にセットされると、処理部１３は、通常の車外監
視を一時的に中断すると共に、ワイパーまたはデフロス
ターの少なくとも一方を作動させるような制御を指示す
るようにしてもよい。画像ぼけがウインドガラスの汚れ
に起因している場合は、ワイパーを作動させることによ
りこれを解消することができる。また、画像ぼけがウイ
ンドガラスの曇りに起因して生じている場合は、デフロ
スターを作動させることにより、それを解消することが
できる。これにより、正常な画像が再び得られれば、フ
ェール状態から正常な監視状態へすばやく復帰すること
ができる。
Ｇが１にセットされると、処理部１３は、通常の車外監
視を一時的に中断すると共に、ワイパーまたはデフロス
ターの少なくとも一方を作動させるような制御を指示す
るようにしてもよい。画像ぼけがウインドガラスの汚れ
に起因している場合は、ワイパーを作動させることによ
りこれを解消することができる。また、画像ぼけがウイ
ンドガラスの曇りに起因して生じている場合は、デフロ
スターを作動させることにより、それを解消することが
できる。これにより、正常な画像が再び得られれば、フ
ェール状態から正常な監視状態へすばやく復帰すること
ができる。
【００３４】以上の説明からわかるように、本実施例に
おける画像ぼけの検出手法をまとめると以下のようにな
る。まず、画像ぼけを判断する際の最も基本的な判断事
項としては以下の事項が挙げられる。 （１）監視領域における全体的な輝度の大きさを示す輝
度平均値が大 （２）監視領域において水平／垂直方向で隣り合った画
素対の輝度変化が小
おける画像ぼけの検出手法をまとめると以下のようにな
る。まず、画像ぼけを判断する際の最も基本的な判断事
項としては以下の事項が挙げられる。 （１）監視領域における全体的な輝度の大きさを示す輝
度平均値が大 （２）監視領域において水平／垂直方向で隣り合った画
素対の輝度変化が小
【００３５】また、画像ぼけの検出精度を向上させるた
めには、以下の事項も考慮することが好ましい。 （３）画像の水平方向における輝度のばらつき（分散）
が小
めには、以下の事項も考慮することが好ましい。 （３）画像の水平方向における輝度のばらつき（分散）
が小
【００３６】上記の（１）〜（３）はステレオカメラ固
有の事項ではないので、単眼カメラ等による車外監視装
置に適用することができる。ただし、ステレオカメラ方
式においては、上記（２）の補完的事項として、監視領
域内の距離データの出力数を考慮してもよい。これによ
り、画像ぼけの検出精度を一層向上させることができ
る。
有の事項ではないので、単眼カメラ等による車外監視装
置に適用することができる。ただし、ステレオカメラ方
式においては、上記（２）の補完的事項として、監視領
域内の距離データの出力数を考慮してもよい。これによ
り、画像ぼけの検出精度を一層向上させることができ
る。
【００３７】
【発明の効果】以上説明したように請求項1記載の発明
によれば、画像におけるエッジ数、輝度差に基づいて走
行環境認識のフェールを判定し、認識のフェールと判定
されるとき監視制御を中断するに際し、撮像画像におけ
る中央上部に画像の水平方向に延在する長方形状の第１
の監視領域を設定して該第１の監視領域の輝度平均値を
算出する。また、第１の監視領域において画像の垂直方
向の各画素対の輝度差を求め、所定値以上の輝度差を有
する画素対の数をエッジ数として算出する。また、撮像
画像を水平方向に所定画素づつ分割し画像の垂直方向に
延在する長方形状の複数の領域からなる第２の監視領域
を設定して、第２の監視領域を構成する長方形状の各領
域毎に輝度和を求め、これら輝度和のばらつきの程度を
示す分散値を算出する。さらに、第１の監視領域内にお
ける距離データの数をカウントする。そして、第１の監
視領域の輝度平均値が第１の判定値よりも高く、且つ、
エッジ数が第２の判定値よりも小さく、且つ、第２の監
視領域の水平方向の輝度分散値が第３の判定値よりも小
さく、且つ、第１の監視領域における距離データの数が
第４の判定値よりも小さいとき、認識のフェールと判定
する。ここで、第１の監視領域は、撮像画像における中
央上部に画像の水平方向に延在して設定するので、自車
輌の前方を一般的な車間距離で走行する最も注意すべき
監視対象としての他車輌が映し出される領域の画像のぼ
けを確実に判断することができる。 そして、第１の監視
領域における全体的な輝度状態を、第１の監視領域の輝
度平均値を第１の判定値と比較して判断することで、霧
や吹雪等による視界不良、或いはカメラのレンズやフロ
ントガラスの曇り、汚れによる撮像環境の悪化等の外因
により撮像された画像がぼけている可能性を先ず第１段
階で推定判断し、さらに第２段階として、第１の監視領
域において画像の垂直方向の各画素対の輝度差を求め、
所定値以上の輝度差を有する画素対の数をエッジ数とし
て算出し、このエッジ数を第２の判定値と比較して画像
ぼけの有無を検証することで、画像ぼけが無いときには
確実に監視制御を継続できる。そして、画像ぼけの可能
性の有るときには、更に第３段階として、撮像画像を水
平方向に所定画素づつ分割し画像の垂直方向に延在する
長方形状の複数の領域からなる第２の監視領域を設定し
て、第２の監視領域を構成する長方形状の各領域毎に輝
度和を求め、これら輝度和のばらつきの程度を示す分散
値を算出し、この分散値を第３の判定値と比較してさら
に画像ぼけを検証するので、画像ぼけがなく登坂走行に
より第１の監視領域に空が映し出されている状況下にお
いても、正常な画像と画像ぼけとを的確に区別して判断
することができ、画像ぼけ判定精度の確度を向上するこ
とができる。 更に、第４段階の検証として、ぼけ画像で
は水平方向の画素対の輝度変化量が少なくなり距離デー
タの出力数が少なくなることに着目し、第１の監視領域
内における距離データの数をカウントして、この距離デ
ータ数を第４の判定値と比較して画像ぼけを確定するの
で、正常画像と画像ぼけとの判定精度を向上し得る。ま
た、画像における垂直方向と水平方向との両面から輝度
変化を検証して画像ぼけを判断するため、画像ぼけの判
定精度を一層向上することができる。 従って、霧、吹雪
等による視界不良、或いは、カメラのレンズ、フロント
ガラスの曇り、汚れによる撮像環境の悪化等の外因によ
り撮像手段の焦点がぼやけ、撮像された画像がぼけたと
きには、この画像のぼけを正確且つ確実に判断し、監視
制御を的確に行うことが困難な画像のぼけが生じた場合
は、これを確実に判定することができて監視制御を中断
することができ、監視装置の安全性を更なる高い次元で
確保することができる。 請求項２記載の発明によれば、
上記請求項１記載の発明の効果に加え、第１の監視領域
の輝度平均値を算出するに際し、第１の監視領域におい
て画像の水平方向と垂直方向とにそれぞれ所定数おきに
画素をサンプルし、これらのサンプルの輝度の平均を上
記第１の監視領域の輝度平均値として算出するので、第
１の監視領域の全体的な輝度の状態を、演算量の低減を
図りながら正確に求めることができる。 また、第１の監
視領域における各画素対の輝度差からエッジ数を算出す
るに際し、第１の監視領域において画像の垂直方向に所
定数おきに隣り合う各画素対の輝度差を求めるので、全
ての画素に対する輝度差を用いることなく実現でき、演
算量を抑制して、エッジ数に基づく画像ぼけ発生の推定
判断を的確に行うことができる。 さらに、撮像画像を水
平方向に所定画素づつ分割し画像の垂直方向に延在する
長方形状の複数の領域からなる第２の監視領域を設定し
て、該第２の監視領域を構成する上記長方形状の各領域
毎に輝度和を求めるに際し、第２の監視領域を構成する
長方形状の各領域の中間部をマスク領域として演算対象
から除外するので、少ない演算量でその領域の輝度状態
を示す輝度和を的確に求めることができる。 従って、こ
れらの相乗により演算負担を著しく軽減しつつ、正確な
判定を行うことができる。
によれば、画像におけるエッジ数、輝度差に基づいて走
行環境認識のフェールを判定し、認識のフェールと判定
されるとき監視制御を中断するに際し、撮像画像におけ
る中央上部に画像の水平方向に延在する長方形状の第１
の監視領域を設定して該第１の監視領域の輝度平均値を
算出する。また、第１の監視領域において画像の垂直方
向の各画素対の輝度差を求め、所定値以上の輝度差を有
する画素対の数をエッジ数として算出する。また、撮像
画像を水平方向に所定画素づつ分割し画像の垂直方向に
延在する長方形状の複数の領域からなる第２の監視領域
を設定して、第２の監視領域を構成する長方形状の各領
域毎に輝度和を求め、これら輝度和のばらつきの程度を
示す分散値を算出する。さらに、第１の監視領域内にお
ける距離データの数をカウントする。そして、第１の監
視領域の輝度平均値が第１の判定値よりも高く、且つ、
エッジ数が第２の判定値よりも小さく、且つ、第２の監
視領域の水平方向の輝度分散値が第３の判定値よりも小
さく、且つ、第１の監視領域における距離データの数が
第４の判定値よりも小さいとき、認識のフェールと判定
する。ここで、第１の監視領域は、撮像画像における中
央上部に画像の水平方向に延在して設定するので、自車
輌の前方を一般的な車間距離で走行する最も注意すべき
監視対象としての他車輌が映し出される領域の画像のぼ
けを確実に判断することができる。 そして、第１の監視
領域における全体的な輝度状態を、第１の監視領域の輝
度平均値を第１の判定値と比較して判断することで、霧
や吹雪等による視界不良、或いはカメラのレンズやフロ
ントガラスの曇り、汚れによる撮像環境の悪化等の外因
により撮像された画像がぼけている可能性を先ず第１段
階で推定判断し、さらに第２段階として、第１の監視領
域において画像の垂直方向の各画素対の輝度差を求め、
所定値以上の輝度差を有する画素対の数をエッジ数とし
て算出し、このエッジ数を第２の判定値と比較して画像
ぼけの有無を検証することで、画像ぼけが無いときには
確実に監視制御を継続できる。そして、画像ぼけの可能
性の有るときには、更に第３段階として、撮像画像を水
平方向に所定画素づつ分割し画像の垂直方向に延在する
長方形状の複数の領域からなる第２の監視領域を設定し
て、第２の監視領域を構成する長方形状の各領域毎に輝
度和を求め、これら輝度和のばらつきの程度を示す分散
値を算出し、この分散値を第３の判定値と比較してさら
に画像ぼけを検証するので、画像ぼけがなく登坂走行に
より第１の監視領域に空が映し出されている状況下にお
いても、正常な画像と画像ぼけとを的確に区別して判断
することができ、画像ぼけ判定精度の確度を向上するこ
とができる。 更に、第４段階の検証として、ぼけ画像で
は水平方向の画素対の輝度変化量が少なくなり距離デー
タの出力数が少なくなることに着目し、第１の監視領域
内における距離データの数をカウントして、この距離デ
ータ数を第４の判定値と比較して画像ぼけを確定するの
で、正常画像と画像ぼけとの判定精度を向上し得る。ま
た、画像における垂直方向と水平方向との両面から輝度
変化を検証して画像ぼけを判断するため、画像ぼけの判
定精度を一層向上することができる。 従って、霧、吹雪
等による視界不良、或いは、カメラのレンズ、フロント
ガラスの曇り、汚れによる撮像環境の悪化等の外因によ
り撮像手段の焦点がぼやけ、撮像された画像がぼけたと
きには、この画像のぼけを正確且つ確実に判断し、監視
制御を的確に行うことが困難な画像のぼけが生じた場合
は、これを確実に判定することができて監視制御を中断
することができ、監視装置の安全性を更なる高い次元で
確保することができる。 請求項２記載の発明によれば、
上記請求項１記載の発明の効果に加え、第１の監視領域
の輝度平均値を算出するに際し、第１の監視領域におい
て画像の水平方向と垂直方向とにそれぞれ所定数おきに
画素をサンプルし、これらのサンプルの輝度の平均を上
記第１の監視領域の輝度平均値として算出するので、第
１の監視領域の全体的な輝度の状態を、演算量の低減を
図りながら正確に求めることができる。 また、第１の監
視領域における各画素対の輝度差からエッジ数を算出す
るに際し、第１の監視領域において画像の垂直方向に所
定数おきに隣り合う各画素対の輝度差を求めるので、全
ての画素に対する輝度差を用いることなく実現でき、演
算量を抑制して、エッジ数に基づく画像ぼけ発生の推定
判断を的確に行うことができる。 さらに、撮像画像を水
平方向に所定画素づつ分割し画像の垂直方向に延在する
長方形状の複数の領域からなる第２の監視領域を設定し
て、該第２の監視領域を構成する上記長方形状の各領域
毎に輝度和を求めるに際し、第２の監視領域を構成する
長方形状の各領域の中間部をマスク領域として演算対象
から除外するので、少ない演算量でその領域の輝度状態
を示す輝度和を的確に求めることができる。 従って、こ
れらの相乗により演算負担を著しく軽減しつつ、正確な
判定を行うことができる。
【図１】実施例にかかる車外監視装置のブロック図
【図２】画像ぼけによるフェール判定ルーチンを示した
フローチャート
フローチャート
【図３】画像領域に設定された第１の監視領域を説明す
るための図
るための図
【図４】第１の監視領域内のサンプルとしての画素を説
明するための図
明するための図
【図５】画像領域中に設定された第２の監視領域を説明
するための図
するための図
【図６】正常画像における輝度和Ａiの水平方向輝度分
布特性を示した図
布特性を示した図
【図７】ぼけが生じた異常画像における輝度和Ａiの水
平方向輝度分布特性を示した図
平方向輝度分布特性を示した図
【図８】距離データを説明するための図
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイコン、１０ 道路認
識部、 １１ 立体物認識部、１２ フェー
ル判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御
部、 １７ 車輌挙動制御部、１８ エンジン
制御部、 １９ 警報装置、２０ ワイパー制御
部、 ２１ デフロスター制御部
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイコン、１０ 道路認
識部、 １１ 立体物認識部、１２ フェー
ル判定部、 １３ 処理部、１４ ＡＴ制御部、
１５ ＡＢＳ制御部、１６ ＴＣＳ制御
部、 １７ 車輌挙動制御部、１８ エンジン
制御部、 １９ 警報装置、２０ ワイパー制御
部、 ２１ デフロスター制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｇ０６Ｔ 7/60 ２５０ Ｇ０６Ｔ 7/60 ２５０Ａ // Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 9/40 B60R 1/00 - 1/12 B60R 21/00 - 21/34 G01B 11/00 - 11/30 B60S 1/08
Claims (2)
- 【請求項１】撮像手段により車外の景色を撮像して得た
画像データに基づいて対象物の距離データを算出し、前
記画像データと前記距離データとに基づいて走行環境を
認識すると共に、画像におけるエッジ数、輝度差に基づ
いて認識のフェールと判定されるとき監視制御を中断す
るフェールセーフ機能を有する車外監視装置において、撮像画像における中央上部に画像の水平方向に延在する
長方形状の第１の監視領域を設定して該第１の監視領域
の輝度平均値 を算出する第１の算出手段と、上記第１の監視領域において画像の垂直方向の各画素対
の輝度差を求め、所定値以上の輝度差 を有する画素対の
数をエッジ数として算出する第２の算出手段と、上記撮像画像を水平方向に所定画素づつ分割し画像の垂
直方向に延在する長方形状の複数の領域からなる第２の
監視領域を設定して、該第２の監視領域を構成する上記
長方形状の各領域毎に輝度和を求め、これら輝度和のば
らつきの程度を示す分散値を算出する第３の算出手段
と、 上記第１の監視領域内における距離データの数をカウン
トする第４の算出手段と、 第１の監視領域の輝度平均値が第１の判定値よりも高
く、且つ、上記エッジ数が第２の判定値よりも小さく、
且つ、上記分散値が第３の判定値よりも小さく、且つ、
上記距離データの数が第４の判定値よりも小さいとき、
前記認識の フェールと判定する判定手段とを備えたこと
を特徴とするフェールセーフ機能を有する車外監視装
置。 - 【請求項２】上記第１の算出手段は、上記第１の監視領
域において画像の水平方向と垂直方向とにそれぞれ所定
数おきに画素をサンプルし、これらのサンプルの輝度の
平均を上記第１の監視領域の輝度平均値として算出し、 上記第２の算出手段は、上記第１の監視領域において画
像の垂直方向に所定数おきに隣り合う各画素対の輝度差
を求め、 上記第３の算出手段は、上記第２の監視領域を構成する
長方形状の各領域の中間部をマスク領域として演算対象
から除外する ことを特徴とする請求項１記載のフェール
セーフ機能を有する車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19985899A JP3312729B2 (ja) | 1999-07-14 | 1999-07-14 | フェールセーフ機能を有する車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19985899A JP3312729B2 (ja) | 1999-07-14 | 1999-07-14 | フェールセーフ機能を有する車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001028746A JP2001028746A (ja) | 2001-01-30 |
| JP3312729B2 true JP3312729B2 (ja) | 2002-08-12 |
Family
ID=16414830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19985899A Expired - Fee Related JP3312729B2 (ja) | 1999-07-14 | 1999-07-14 | フェールセーフ機能を有する車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3312729B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006055145A1 (de) * | 2006-11-22 | 2008-05-29 | Denso Corp., Kariya | On-Board-Nebelbestimmungsvorrichtung |
| DE102007043164B4 (de) * | 2006-09-12 | 2016-12-22 | Denso Corporation | Nebelerkennungsvorrichtung für Kraftfahrzeuge |
| CN106794807A (zh) * | 2014-10-08 | 2017-05-31 | 三菱电机株式会社 | 车载摄像机控制装置 |
| US10803570B2 (en) | 2018-05-10 | 2020-10-13 | Eagle Technology, Llc | Method and system for a measure of visibility from a single daytime image |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5923027A (en) | 1997-09-16 | 1999-07-13 | Gentex Corporation | Moisture sensor and windshield fog detector using an image sensor |
| JP2003090673A (ja) * | 2001-09-17 | 2003-03-28 | Hitachi Electronics Service Co Ltd | 冷蔵庫収納品画像表示システム |
| JP3649327B2 (ja) * | 2002-02-27 | 2005-05-18 | 富士重工業株式会社 | フェールセーフ機能を有するステレオ式車外監視装置 |
| US7142695B2 (en) | 2002-11-01 | 2006-11-28 | Pixart Imaging Inc. | Image qualification for optical navigation sensor |
| JP3901573B2 (ja) | 2002-04-25 | 2007-04-04 | 富士通テン株式会社 | 画像認識システムにおける異常の診断装置 |
| US7718943B2 (en) | 2004-09-29 | 2010-05-18 | Gentex Corporation | Moisture sensor for optically detecting moisture |
| JP4506573B2 (ja) * | 2005-06-15 | 2010-07-21 | 株式会社デンソー | 車載霧判定装置 |
| JP4159572B2 (ja) * | 2005-09-15 | 2008-10-01 | 学校法人帝京大学 | 異常報知装置および異常報知方法 |
| US7693629B2 (en) | 2006-11-14 | 2010-04-06 | Denso Corporation | Onboard fog determining apparatus |
| JP2011150600A (ja) * | 2010-01-22 | 2011-08-04 | Fujitsu Ltd | 画像評価装置、画像評価方法、及び画像評価プログラム |
| DE102010002312A1 (de) * | 2010-02-24 | 2011-08-25 | Robert Bosch GmbH, 70469 | Verfahren und Vorrichtung zur Analyse eines Bildes einer Bilderfassungseinrichtung für ein Fahrzeug |
| DE102010002310A1 (de) * | 2010-02-24 | 2011-08-25 | Audi Ag, 85057 | Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld |
| JP5879219B2 (ja) * | 2012-07-03 | 2016-03-08 | クラリオン株式会社 | 車載用環境認識装置 |
| WO2014007175A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載環境認識装置 |
| CN105427407B (zh) * | 2015-12-17 | 2017-10-24 | 成都吉普斯能源科技有限公司 | 一种汽车安全监控方法 |
| JP2019096364A (ja) * | 2019-03-18 | 2019-06-20 | 株式会社ニコン | 画像評価装置 |
| JP6934981B1 (ja) * | 2020-05-15 | 2021-09-15 | 三菱電機株式会社 | 画像処理装置 |
-
1999
- 1999-07-14 JP JP19985899A patent/JP3312729B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007043164B4 (de) * | 2006-09-12 | 2016-12-22 | Denso Corporation | Nebelerkennungsvorrichtung für Kraftfahrzeuge |
| DE102006055145A1 (de) * | 2006-11-22 | 2008-05-29 | Denso Corp., Kariya | On-Board-Nebelbestimmungsvorrichtung |
| DE102006055145B4 (de) * | 2006-11-22 | 2008-12-11 | Denso Corp., Kariya-shi | On-Board-Nebelbestimmungsvorrichtung |
| CN106794807A (zh) * | 2014-10-08 | 2017-05-31 | 三菱电机株式会社 | 车载摄像机控制装置 |
| CN106794807B (zh) * | 2014-10-08 | 2018-04-17 | 三菱电机株式会社 | 车载摄像机控制装置 |
| US10803570B2 (en) | 2018-05-10 | 2020-10-13 | Eagle Technology, Llc | Method and system for a measure of visibility from a single daytime image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001028746A (ja) | 2001-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| US20220245953A1 (en) | Vehicular imaging system | |
| US7619668B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
| US7646890B2 (en) | Image processor for automotive vehicle | |
| US7580548B2 (en) | Abnormality detecting apparatus for imaging apparatus | |
| US6310546B1 (en) | Stereo type vehicle monitoring apparatus with a fail-safe function | |
| JP4374211B2 (ja) | レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置 | |
| JP2002022439A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3092105B1 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3301995B2 (ja) | ステレオ式車外監視装置 | |
| JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3235831B2 (ja) | ステレオ式車外監視装置 | |
| JP2002027447A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JP3344627B2 (ja) | ステレオ式車外監視装置 | |
| JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
| JP3272701B2 (ja) | 車外監視装置 | |
| JP4532089B2 (ja) | 車外監視装置 | |
| JP4794764B2 (ja) | 車外監視装置 | |
| WO2022254795A1 (ja) | 画像処理装置、および、画像処理方法 | |
| JP2001043352A (ja) | フェールセーフ機能を有する車外監視装置 | |
| CN116156154A (zh) | 一种视频数据流状态判断方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020515 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3312729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090531 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090531 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100531 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110531 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110531 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120531 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130531 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140531 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |