JP2005143083A - 画像処理装置、運転支援装置および運転支援システム - Google Patents

Abstract

【課題】画像処理のできない画像が撮像された場合の原因がカメラの異常または環境が撮像に不適切な状態にあるのかを短時間で判断することができる画像処理装置を得る。
【解決手段】カメラ１１と、カメラからの画像の濃度を認識する画像認識部１２と、画像認識部の認識結果に基づいて露出値を制御する露出値制御部１３とを有する画像処理装置１において、露出値制御部１３は、露出値を自動制御している通常露出値による撮像中に、最大露出値および最小露出値で撮像する期間を挿入し、画像認識部１２は、その認識結果に応じて、カメラ１１の異常または環境が撮像に不適切な状態にあることを判断する。
【選択図】 図１

Description

本発明は、画像処理装置、運転支援装置および運転支援システムに関し、特に画像処理のできない画像が撮像された場合の原因が撮像手段の異常または環境が撮像に不適切な状態にあるのかを短時間で判断することができる画像処理装置、この画像処理装置を利用する運転支援装置および運転支援システムに関するものである。

近年、車両の走行にかかる各種情報を撮像し、車両事故の防止、車両走行や車両駐車のアシストを行う技術の開発が進められている。車両走行にかかる各種情報は、車両にカメラ等の撮像装置を装着することによって取得し、このカメラ等で撮像された画像を演算、加工処理することによって車両事故を防止するための情報等を得ている。カメラを自動車等の車両に装着する場合、カメラは太陽光の影響を受けるため、光源の状況が常に変化する。このため、カメラのシャッタースピードや絞り等の制御が光源の状況変化に追いつかない場合が生じることがある。また、シャッタースピードや絞り等の制御範囲では対応できない白飛びや黒つぶれが生じる場合がある。

このような、光源の状況変化にカメラの制御が追いつかない場合やカメラの制御範囲では対応できない白飛びや黒つぶれの場合は、撮像した画像信号の処理ができないため「カメラによって得られた画像を異常状態で撮像した画像であって画像処理のできないもの」と判断する必要がある。異常状態で画像を撮像した場合であってもカメラが故障していない場合は、所定時間の経過後に正常状態の画像を撮像することができるが、カメラが故障している場合等は、所定時間の経過後であっても正常状態の画像を撮像することはできない。このため、白飛びや黒つぶれの画像を撮像した場合はカメラが故障しているか否かの判断を行う必要がある。

また、車両は高速で走行したり、方向転換を行うため、カメラの光源の状況も高速で変化する。したがって、カメラで撮像された画像の情報処理も高速で行う必要があり、前述の異常状態で撮像した画像に対してもこの異常状態が一時的な環境の変化によるものであるのか、カメラ自体の故障によるものであるかを速く判断して車両の運転者に通知する必要がある。

特許文献１に記載のビデオカメラ用露出制御装置は、入力された被写体画像の輝度信号が、予め設定されたクリップレベル以上である場合、被写体画像の輝度信号を同一輝度信号にする高輝度クリップ回路を設けている。高輝度クリップ回路は、逆光シーンで適正な測光情報をえるため低クリップレベルと逆光シーン以外の撮影シーンで適正な測光情報を得るための高クリップレベルとの間でクリップレベルを変更している。そして、高輝度クリップ回路を通過した輝度情報からの測光情報に基づいてアイリスを制御している。また、低クリップレベルと高クリップレベルとの間でクリップレベルを変更する場合には、クリップレベルを徐々にまたは所定の時間遅れをもたせて変更している。

特開平５−１２２６００号公報

しかしながら、上記従来技術によれば、予め設定されたクリップレベル以上の輝度信号を同一輝度信号にして逆光シーンでの適正な測光情報を得ることはできるが、予め設定されたクリップレベル以上の輝度信号が一時的な環境の変化によるものであるのか、ビデオカメラ自体の故障によるものであるかを判断することはできないといった問題があった。

本発明は、上記に鑑みてなされたものであって、画像処理のできない画像が撮像された場合の原因が撮像手段の異常または環境が撮像に不適切な状態にあるのかを短時間で判断することができる画像処理装置、これを利用する運転支援装置および運転支援システムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、請求項１の発明にかかる画像処理装置は、撮像部（図２に示すカメラ１１に対応する）と、前記撮像部からの画像の濃度を認識する画像認識部（図２に示す画像認識部１２に対応する）と、前記画像認識部の認識結果に基づいて露出値を制御する露出値制御部（図２に示す露出値制御部１３に対応する）とを有する画像処理装置（図２に示す画像処理装置１に対応する）において、前記露出値制御部は、前記露出値を自動制御している露出値自動制御期間中（図７−１に示す通常露出値画像Ａ１〜Ａ４に対応する）に、露出値を最大露出値とする最大露出値期間（図７−１に示す最大露出値画像Ｂ１〜Ｂ３に対応する）および最小露出値とする最小露出値期間（図７−１に示す最小露出値画像Ｃ１〜Ｃ３に対応する）を挿入し、前記画像認識部は、その認識結果に応じて、撮像手段の異常または環境が撮像に不適切な状態にあることを判断することを特徴とする。

この請求項１の発明によれば、露出値制御部が、露出値自動制御期間中に、最大露出値期間および最小露出値期間を挿入し、画像認識部が、撮像手段の異常または環境が撮像に不適切な状態にあることを判断しているので、露出値制御期間中に画像を撮像しながら、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できる。

また、請求項２の発明に係る画像処理装置は、請求項１の発明において、前記露出値制御部は、露出値自動制御期間、最大露出値期間および最小露出値期間を同一の時間をもって所定の順番にしたがって行うことを特徴とする。

この請求項２の発明によれば、露出値制御部は、露出値自動制御期間、最大露出値期間および最小露出値期間を同一の時間をもって所定の順番にしたがって行っているので、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行うことができる。

また、請求項３の発明に係る画像処理装置は、請求項１の発明において、前記露出値制御部は、露出値自動制御期間が、最大露出値期間および最小露出値期間よりも長くなるよう制御することを特徴とする。

この請求項３の発明によれば露出値制御部は、露出値自動制御期間が、最大露出値期間および最小露出値期間よりも長くなるよう制御しているので、露出値自動制御期間の撮像が、最大露出値期間および最小露出値期間の撮像よりも長くなる。

また、請求項４の発明に係る画像処理装置は、請求項１〜３のいずれか一つの発明において、前記画像認識部は、前記露出値自動制御期間に撮像された画像に擬似信号であるスミアまたはゴーストが発生していることを認識した場合であって、前記最小露出値期間に撮像された画像にスミアまたはゴーストが発生していないことを認識した場合は、前記露出値自動制御期間における露出値が不適切であると判断することを特徴とする。

この請求項４の発明によれば画像認識部は、最小露出値期間に撮像された画像にスミアまたはゴーストが発生していないことを認識した場合に、露出値自動制御期間における露出値が不適切であると判断するので、露出最小値で撮像した画像にスミアやゴーストが発生しているか否かを判断するだけで画像を撮像した露出値が不適切であるか否かの判断を容易に行うことができる。

また、請求項５の発明に係る画像処理装置は、請求項１〜４のいずれか一つの発明において、前記画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合または最大露出値期間に撮像された画像が白飛び状態である場合に、撮像手段の異常または環境が撮像に不適切な状態にあると判断することを特徴とする。

この請求項５の発明によれば画像認識部は、画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合または最小露出値期間に撮像された画像が白飛び状態である場合に、撮像手段の異常または環境が撮像に不適切な状態にあると判断をするので、最大露出値期間に撮像された画像が黒つぶれ状態であること、最大露出値期間に撮像された画像が白飛び状態であることを認識するだけで、撮像手段の異常または環境が撮像に不適切な状態にあるか否かの判断を容易に行うことができる。

また、請求項６の発明に係る画像処理装置は、請求項１〜５のいずれか一つの発明において、前記画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合は、露出値を最大にして撮像される画像が黒つぶれ状態にならないように撮像環境を変えた後、最大露出値期間に撮像された画像が黒つぶれ状態である場合は撮像手段の異常であると判断し、黒つぶれ状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする。

この請求項６の発明によれば画像認識部は、最大露出値期間に撮像された画像が黒つぶれ状態である場合は、撮像環境を変えた後、最大露出値期間に撮像された画像が黒つぶれ状態である場合は撮像手段の異常であると判断し、黒つぶれ状態でない場合は環境が撮像に不適切な状態にあると判断しているため、最大露出値期間における２回の撮像によって撮像手段の異常を判断することができる。

また、請求項７の発明に係る画像処理装置は、請求項１〜６のいずれか一つの発明において、前記露出値を最大にして撮像される画像が黒つぶれ状態にならないような撮像環境は、前記撮像手段が所定の光源を撮像する撮像環境であることを特徴とする。

この請求項７の発明によれば、露出値を最大にして撮像される画像が黒つぶれ状態にならないような撮像環境は、撮像手段が所定の光源を撮像する撮像環境であるため、所定の光源を撮像するだけで、撮像手段の異常を判断することができる。

また、請求項８の発明に係る画像処理装置は、請求項１〜７のいずれか一つの発明において、前記画像認識部は、最小露出値期間に撮像された画像が白飛び状態である場合は、露出値を最小にして撮像される画像が白飛び状態にならないように撮像環境を変えた後、最小露出値期間に撮像された画像が白飛び状態である場合は撮像手段の異常であると判断し、白飛び状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする。

この請求項８の発明によれば画像認識部は、最小露出値期間に撮像された画像が白飛び状態である場合は、撮像環境を変えた後、最小露出値期間に撮像された画像が白飛び状態である場合は撮像手段の異常であると判断し、白飛び状態でない場合は環境が撮像に不適切な状態にあると判断しているため、最小露出値期間における２回の撮像によって撮像手段の異常を判断することができる。

また、請求項９の発明に係る画像処理装置は、請求項１〜８のいずれか一つの発明において、前記露出値を最小にして撮像される画像が白飛び状態にならないような撮像環境は、前記撮像手段に光源を入れないで撮像する撮像環境であることを特徴とする。

この請求項９の発明によれば露出値制御部は、露出値を最小にして撮像される画像が白飛び状態にならないような撮像環境は、撮像手段に光源を入れないで撮像する撮像環境であるため、光源を入れないよう撮像するだけで、撮像手段の異常を判断することができる。

また、請求項１０の発明に係る画像処理装置は、請求項１〜９のいずれか一つの発明において、前記画像認識部は、前記撮像手段による撮影が奇数段目と偶数段目の２回の走査に分けて行うインターレース方式である場合は、１回の走査で得た画像によって濃度認識を行うことを特徴とする。

この請求項１０の発明によれば画像認識部は、撮像手段がインターレース方式で撮像して、１回の走査で得た画像によって濃度認識を行うので、画像の濃度認識が終わるまでの時間を短縮することができる。

また、請求項１１に係る画像処理装置は、請求項１〜１０のいずれか一つの発明において、前記画像認識部は、前記インターレース方式である場合、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする。

この請求項１１の発明によれば画像認識部は、撮像がインターレース方式である場合に、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、黒つぶれ状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる。

また、請求項１２に係る画像処理装置は、請求項１〜１１のいずれか一つの発明において、前記画像認識部は、前記インターレース方式である場合、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする。

この請求項１２の発明によれば画像認識部は、撮像がインターレース方式である場合に、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、白飛び状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる。

また、請求項１３の発明に係る画像処理装置は、請求項１〜１２のいずれか一つの発明において、前記画像認識部において撮像手段が異常であると判断した場合は、前記撮像手段が異常であることを通知する通知部を備えることを特徴とする。

この請求項１３の発明によれば、前記撮像手段が異常であることを通知する通知部を備えるので、撮像手段の異常時に画像処理装置の使用者が撮像手段の異常を知ることができる。

また、請求項１４の発明に係る画像処理装置は、車両周辺の画像を撮影、もしくは車両周辺を撮影した画像を外部の装置から受信する画像取得手段と、前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、を備えたことを特徴とする。

この請求項１４の発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する。

また、請求項１５の発明に係る画像処理装置は、請求項１４の発明において、前記露出制御手段による前記最大露出期間および前記最小露出期間の挿入タイミングおよび／または挿入間隔を変更制御するタイミング変更部をさらに備えたことを特徴とする。

この請求項１５の発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御する。

また、請求項１６の発明に係る画像処理装置は、請求項１５の発明において、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途のうち少なくともいずれか一つに基づいて前記タイミング変更部による変更制御の内容を設定するタイミング設定部をさらに備えたこと特徴とする。

この請求項１６の発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途などに対応して最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御する。

また、請求項１７の発明に係る画像処理装置は、請求項１４，１５または１６の発明において、前記判定手段による判定結果を、外部の車両制御装置に出力する出力手段をさらに備えたことを特徴とする。

この請求項１７の発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定し、外部の車両制御装置に出力する。

また、請求項１８の発明に係る運転支援装置は、画像処理装置が処理を施した画像情報を取得する画像情報取得手段と、少なくとも前記画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、前記画像処理装置が使用する撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作内容を変更する支援動作変更手段と、を備えたことを特徴とする。

この請求項１８の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更する。

また、請求項１９の発明に係る運転支援装置は、請求項１８の発明において、画像の濃度分布に基づく露出自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出期間を挿入し、当該最大露出期間および最小露出期間に撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途のうち少なくともいずれか一つに基づいて前記最大露出期間および最小露出期間の挿入タイミングおよび／または挿入間隔を設定して送信するタイミング設定手段をさらに備えたことを特徴とする。

この請求項１９の発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信する。

また、請求項２０の発明に係る運転支援装置は、請求項１９の発明において、前記タイミング設定手段は、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度、のいずれかを少なくとも用いて前記挿入タイミングおよび／または挿入間隔を設定することを特徴とする。

この請求項２０の発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信する。

また、請求項２１の発明に係る運転支援装置は、請求項１８，１９または２０の発明において、前記支援手段は、車線の逸脱を防止するレーンキーピング支援、車間距離の調節を支援する車間距離調節支援、車両の衝突事故を回避する衝突回避支援、衝突事故発生時の損傷を軽減する衝突緩和支援、駐車動作を簡易化する駐車支援、のいずれかを少なくとも実行することを特徴とする。

この請求項２１の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いてレーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を行うとともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更する。

また、請求項２２の発明に係る運転支援装置は、請求項１８〜２１のいずれか一つの発明において、前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作を中止することを特徴とする。

この請求項２２の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援動作を中止する。

また、請求項２３の発明に係る運転支援装置は、請求項１８〜２２のいずれか一つの発明において、前記支援手段は車両の動作制御による支援を実行し、前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、他の検知手段を前記画像処理手段の代替手段として用いて前記支援手段を動作させることを特徴とする。

この請求項２３の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、他の検知手段を代替手段として支援動作を行う。

また、請求項２４の発明に係る運転支援システムは、撮影部が撮影した画像を取得する画像取得手段と、前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、少なくとも前記画像を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、を備えたことを特徴とする。

この請求項２４の発明によれば運転支援システムは、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するとともに、画像を利用した車両走行の支援を行う。

請求項１の発明によれば、露出値制御期間中に画像を撮像しながら、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できるので、撮像された画像が画面処理のできない画像であっても画像の撮像に適した撮像環境になれば画面処理のできる画像の撮像ができるのか、カメラが故障していて画像の撮像に適した撮像環境になっても画面処理のできる画像の撮像ができないのかを判断することができるという効果を奏する。

また、請求項２の発明によれば、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行うことができるので、露出値自動制御期間の撮像によって通常の画像を撮像する時間間隔と同一の時間間隔で、撮像手段の異常または環境が撮像に不適切な状態にあることを判断できる画像処理装置を得ることができるという効果を奏する。

また、請求項３の発明によれば、露出値自動制御期間の撮像が、最大露出値期間および最小露出値期間の撮像よりも長くなるため、露出値自動制御期間の撮像と同一の時間間隔で最大露出値、最小露出値の撮像を行う場合よりも、露出値自動制御期間の撮像によって得られる画像が多くなり、画面処理に用いることができる画像の撮像が多くなる画像処理装置を得ることができるという効果を奏する。

また、請求項４の発明によれば、最小露出値期間に撮像した画像にスミアやゴーストが発生しているか否かを判断するだけで画像を撮像した露出値が不適切であるか否かの判断を容易に行うことができ、露出値自動制御期間における露出値を適切な値に制御すれば、露出値自動制御期間にスミアやゴーストが発生しない画像を撮像できる。したがって、撮像環境が変化することを待たなくても画像の撮像を行い続けることができると判断のできる画像処理装置を得ることができるというという効果を奏する。

また、請求項５の発明によれば、最大露出値期間に撮像された画像が黒つぶれ状態であること、最大露出値期間に撮像された画像が白飛び状態であることを認識するだけで、撮像手段の異常または環境が撮像に不適切な状態にあるか否かの判断を容易に行うことができる画像処理装置を得ることができるという効果を奏する。

また、請求項６の発明によれば、最大露出値期間における２回の撮像によって撮像手段の異常を判断することができるので、撮像手段の異常を短時間で判断することができる画像処理装置を得ることができるという効果を奏する。

また、請求項７の発明によれば、所定の光源を撮像するだけで、撮像手段の異常を判断することができるので、簡易な構成で撮像手段の異常を判断することができる画像処理装置を得ることができるという効果を奏する。

また、請求項８の発明によれば、最小露出値期間における２回の撮像によって撮像手段の異常を判断することができるので、撮像手段の異常を短時間で判断することができる画像処理装置を得ることができるという効果を奏する。

また、請求項９の発明によれば、光源を入れないよう撮像するだけで、撮像手段の異常を判断することができるので、簡易な構成で撮像手段の異常を判断することができる画像処理装置を得ることができるという効果を奏する。

また、請求項１０の発明によれば、インターレース方式で撮像した画像のうち、１回の走査で得た画像によって濃度認識を行うので、画像の濃度認識が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。

また、請求項１１の発明によれば、撮像がインターレース方式である場合に、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、黒つぶれ状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。

また、請求項１２の発明によれば、撮像がインターレース方式である場合に、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断するので、白飛び状態、撮像手段の異常、撮像環境が不適切な状態にあることの判断が終わるまでの時間を短縮することができる画像処理装置を得ることができるという効果を奏する。

また、請求項１３の発明によれば、撮像手段の異常時に画像処理装置の使用者が撮像手段の異常を知ることができるので、撮像手段の異常に対して迅速に対応することが可能な画像処理装置を得ることができるという効果を奏する。

この請求項１４の発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するので、撮像手段の異常検知を迅速に実行可能な画像処理装置を得ることができるという効果を奏する。

この請求項１５の発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御するので、撮像手段の異常検知を任意のタイミングと間隔で実行可能な画像処理装置を得ることができるという効果を奏する。

この請求項１６の発明によれば画像処理装置は、最大露出期間や最小露出期間に撮影した画像に基づいて撮像手段の状態を判定する場合に、自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途などに対応して最大露出期間および最小露出期間の挿入タイミングと挿入間隔を可変制御するので、撮像手段の異常検知を状況に適応したタイミングと間隔で実行可能な画像処理装置を得ることができるという効果を奏する。

この請求項１７の発明によれば画像処理装置は、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定し、外部の車両制御装置に出力するので、撮像手段の異常検知を迅速に実行し、他の装置に通知可能な画像処理装置を得ることができるという効果を奏する。

この請求項１８の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更するので、撮像手段に異常が生じた場合であっても誤動作を確実に防止可能な運転支援装置を得ることができるという効果を奏する。

この請求項１９の発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信するので、必要なタイミングおよび間隔で画像処理装置に撮像手段の異常検知を実行させる運転支援装置を得ることができるという効果を奏する。

この請求項２０の発明によれば運転支援装置は、画像の濃度分布に基づく露出自動制御期間中に最大露出値期間および最小露出期間を挿入して撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度などに基づいて最大露出期間および最小露出期間の挿入タイミングや挿入間隔を設定して送信するので、必要なタイミングおよび間隔で画像処理装置に撮像手段の異常検知を実行させる運転支援装置を得ることができるという効果を奏する。

この請求項２１の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いてレーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を行うとともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援の動作内容を変更するので、撮像手段に異常が生じた場合であっても誤動作を確実に防止可能な運転支援装置を得ることができるという効果を奏する。

この請求項２２の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、支援動作を中止するので、撮像手段に異常が生じた場合に確実に支援動作中止可能な運転支援装置を得ることができるという効果を奏する。

この請求項２３の発明によれば運転支援装置は、画像処理装置が処理を施した画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援するともに、画像処理装置が使用する撮影部に異常が発生した場合に、他の検知手段を代替手段として支援動作を行うので、撮像手段に異常が生じた場合であっても代替手段によって支援を継続可能な運転支援装置を得ることができるという効果を奏する。

この請求項２４の発明によれば運転支援システムは、画像の濃度分布に基づいて露出値を制御する場合に、露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入し、この最大露出期間や最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定するとともに、画像を利用した車両走行の支援を行うので、撮像手段の異常検知を迅速に実行可能な運転支援システムを得ることができるという効果を奏する。

以下に添付図面を参照し、この発明に係る画像処理装置、運転支援装置および運転支援システムの好適な実施例について説明する。なお、この実施例によりこの発明が限定されるものではない。

まず、本実施例１における画像処理装置の概要構成について説明する。図１は、本発明の実施例１である画像処理装置の概要構成を示す概要構成図である。同図に示すように、露出値制御部１３はカメラ１１の露出値を予め設定しておいた所定の周期に従って、通常露出値、露出最大値、露出最小値で制御する。ここでの露出値は、露出時間によって決められるものであり、露出時間が長い場合に露出値が大きくなり、露出時間が短い場合に露出値が小さくなるものとする。露出時間はシャッタースピードによって決まるものであり、段階的に制御できるものとする。例えば、シャッタースピードは１／６０秒、１／１２０秒、１／２４０秒のように段階的に制御する。したがって、露出値も段階的に制御されるものとする。なお、露出値は絞りによって制御するようにしてもよい。

ここで、通常露出値は、直前に撮像された画像の露出値よりも画像の露出値が最適値に近づくよう露出値を随時変更しながら設定制御される露出値をいう。露出最大値は、カメラ１１において制御可能な露出値の最大値をいい、露出最小値は、カメラ１１において制御可能な露出値の最小値をいう。例えば、露出値制御部１３を、１００ｍｓｅｃ毎に通常露出値、露出最大値、露出最小値の順番で制御して露出値を変更する。露出最大値とは露出時間を最も長く設定した状態を表し、露出最大値で撮像すると後述する白飛び状態が起こりやすい。一方、露出最小値とは露出時間を最も短く設定した状態を表し、露出最小値で撮像すると後述する黒つぶれ状態が起こりやすい。

画像認識部１２は、カメラ１１から供給される画像と、この画像をカメラ１１において撮像した際のカメラ１１の露出値とから、カメラ１１において撮像した画像が、明るい部分の濃度階調が失われた白飛び、カメラ１１の撮像画面に高輝度のスポット光が入った場合にカメラ１１の画面上に明るい縦方向の帯が発生するスミア、暗い部分の濃度階調が失われた黒つぶれ等であるか否かの判定を行う。また、このときカメラ１１の故障が発生しているか否かの判定も行う。

そして、カメラ１１において撮像した画像が白飛び、スミア、黒つぶれであると判定した場合には、このような画像の撮像が一時的な環境の変化によるものであるのか、カメラ１１自体の故障によるものであるかを判断する。

例えば、通常露出値で得られた画像が白飛びであった場合、この後に所定の条件下であって露出最小値で得られた画像が白飛びをしている否かを確認する。そして、露出最小値で得られた画像が白飛びをしている場合には、カメラ１１の故障と判定する。

一方、通常露出値で得られた画像が黒つぶれであった場合、この後に所定の条件下であって露出最大値で得られた画像が黒つぶれをしている否かを確認する。そして、露出最大値で得られた画像が黒つぶれをしている場合には、カメラ１１の故障と判定する。なお、ここでの白飛び、黒つぶれは画像の濃度階調と濃度階調毎の画面上の画素数に基づいて判断するものとする。

図２は、本発明の実施例１である画像処理装置の構成を示す図である。同図に示すように画像処理装置１は、カメラ１１、画像認識部１２、露出値制御部１３、モニタ１４、故障判定部１５および報知部１６からなる。なお、本発明の目的を達成するためには、必ずしもモニタ１４と報知部１６は必要なく、画像認識部での演算結果や判定結果を出力するものがあればよい。カメラ１１は、所定の露出値で車両の前方や後方等の所定の方向を撮像し、撮像した画像を画像データとして画像認識部１２に供給する。

画像認識部１２は、故障判定部１５を備え、カメラ１１、露出値制御部１３、モニタ１４、報知部１６と接続されている。画像認識部１２は、カメラ１１からの画像データを演算処理してモニタ１４に供給するとともに、カメラ１１から供給される画像の階調と階調毎の画面上の画素数を求める。そして、画像の階調毎の画素数および露出値制御部１３から供給される露出値の情報に基づいて、カメラ１１から供給される画像が白飛び、スミア、黒つぶれであるか否かの判定を行う。

故障判定部１５は、画像の階調毎の画素数および露出値制御部１３から供給される露出値の情報に基づいて、カメラ１１が故障しているか否かの判定を行う。露出値制御部１３は、予め設定しておいた所定の周期でカメラ１１の露出値を制御する。このときの露出値は、通常露出値、露出最大値、露出最小値にする場合の３通りの露出値を所定の周期に従って変更するよう制御する。

モニタ１４は、画像認識部１２で演算処理された画像データを画像として表示させる。報知部１６は、故障判定部１５でカメラ１１の故障であると判定された場合に、画像処理装置１の使用者にカメラ１１が故障していることを警告ランプ、警告音、警告表示等によって通知する。なお、本実施例１においては、モニタ１４と報知部１６を別々の構成としてが、モニタ１４が報知部１６を備える構成としてもよい。

次に、図２に示した画像認識部において認識される画像の階調と各階調における画素数の関係について説明する。図３〜５は、濃度ヒストグラムを示した図である。濃度ヒストグラムは画像の輝度分布を表すものである。横軸は画像データをデジタル変換したときの明るさを示す濃度の階調であり、例えば０（黒）〜２５５（白）で表される。縦軸は、その濃度を示す画素数を示している。

図３は、画像が明るすぎる場合の濃度ヒストグラムの一例を示す図である。例えば、逆光の場合やカメラ１１の露出値が適正な値よりも大きい場合は濃度の高い画素数が多くなる。例えば、濃度２０１以上の画素数の全体の画素数に占める割合が所定値以上である場合の画像を白飛びであると判断する。また、画像の全体濃度の平均値によって、画像が白飛びであるか否かの判断をしてもよい。例えば、画像の全体濃度の平均値が２０１以上のとき白飛びであると判断する。

画像にスミアが発生した場合の画像の濃度について説明する。画像を垂直方向の直線で分割することによって画像の水平方向の位置が同じ画素を１つのブロックとし、ブロック毎の画素の濃度の合計値を求める。例えば、画像の水平方向に３００画素が並んでいる場合、画像を垂直方向の直線によって３００等分して３００個のブロックに分割する。そして、各ブロック内の画素の濃度の合計値を求める。

図４は、画像に発生したスミアの検出を説明するための図である。図４において、横軸は画像の水平方向の位置を示し、縦軸はブロック毎の各画素の濃度の合計値を示している。図４において濃度ピークが存在するか否かを判断し、濃度ピークが存在する場合は、これを第１ピークとして抽出する。第１ピークの両側±ｎ画素分（ｎは所定の自然数）の位置に濃度ピークが存在するか否かを判断し、濃度ピークが存在する場合はこれを第２ピークとして抽出する。そして、第１ピークの濃度の合計値と第２ピークの濃度の合計値の差の絶対値が所定値以上である場合、第１ピークと第２ピークのうち濃度の合計値の大きい方をスミアと判断する。

図５は、画像が暗すぎる場合の濃度ヒストグラムの一例である。例えば、光源の全く無い場合やカメラ１１の露出値が適正な値よりも小さい場合は濃度の低い画素数が多くなる。例えば濃度５１未満の画素数の全体の画素数に占める割合が所定値以上である場合の画像を黒つぶれであると判断する。また、画像の全体濃度の平均値によって、画像が黒つぶれであるか否かの判断をしてもよい。例えば、画像の全体濃度の平均値が５１以下のときは黒つぶれであると判断する。

図６は、露出バランスが良い場合の濃度ヒストグラムの一例である。光源に対するカメラ１１の露出値を適正な値で撮像した場合は濃度の高い画素数と濃度の低い画素数の割合が偏ることなく分布する。

次に、露出値制御部１３での露出値の制御手順について説明する。図７−１は、カメラ１１を通常露出値制御で撮像する場合を説明するための図であり、図７−２は、カメラ１１を通常露出値、露出最大値、露出最小値の順番で制御して撮像する場合を説明するための図である。露出値制御部１３は所定の時間間隔で露出値を変更するよう制御する。ここでは、３３ｍｓｅｃに１回の割合でカメラ１１が１つの画像を撮像し、画像認識部１２が画像の濃度を認識するのに１００ｍｓｅｃを要する場合について説明する。

図７−１においては、３３ｍｓｅｃ毎に通常露出値での画像（以下、通常露出値画像という）を撮像し（１秒間に３０枚の画像を撮像）、１００ｍｓｅｃ毎に撮像された画像の濃度を認識している場合を示している。画像認識が行われる毎に露出値を直前に撮像された画像の露出値よりも最適値に近づくよう変更している。ここでは、画像の濃度を認識するのに１００ｍｓｅｃを要しているため、画像の露出値を変更するのに１００ｍｓｅｃ遅延することとなる。

通常露出値画像Ａ１は画像認識Ｘ１に示す間に濃度認識され、通常露出値画像Ａ２は画像認識Ｘ２に示す間に濃度認識されている。以下、同様に通常露出値画像Ａ３は画像認識Ｘ３に示す間に濃度認識され、通常露出値画像Ａ４は画像認識Ｘ４に示す間に濃度認識され、通常露出値画像Ａ５は画像認識Ｘ５に示す間に濃度認識されている。

画像認識Ｘ１によって通常露出値画像Ａ１の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ５を撮像する。また、画像認識Ｘ２によって通常露出値画像Ａ２の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ６を撮像する。さらに、画像認識Ｘ３によって通常露出値画像Ａ３の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ７を撮像する。以下、同様に画像の濃度認識をすると、この濃度認識に基づいてカメラ１１の露出値が最適値に近づくよう変更して通常露出値画像を撮像する動作を繰り返す。

ここでは撮像した通常露出値画像Ａ１の濃度分布が画像認識Ｘ１で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ５においては通常露出値画像Ａ１〜Ａ４よりも露出値が１段階高くなるよう変更して撮像している。

さらに、撮像した通常露出値画像Ａ２の濃度分布が画像認識Ｘ２で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ６においては通常露出値画像Ａ５よりも露出値が１段階高くなるよう変更して撮像している。

さらに、撮像した通常露出値画像Ａ３の濃度分布が画像認識Ｘ３で暗い濃度に偏っていると判断した場合を示している。このような画像の濃度分布が暗い濃度に偏っていると判断した場合であっても、通常露出値画像Ａ５が最大の露出値で撮像されているため、通常露出値画像Ａ６は通常露出値画像Ａ５と同じ最大の露出値で撮像する。

このように、撮像した画像の濃度分布が暗い濃度に偏っていると判断された場合は、所定の段階ずつ露出値を大きくするよう変更している。そして、カメラ１１の故障により出力される画像が黒つぶれ状態の場合であっても、このような段階的な露出値の変更が行われる。このため、カメラ１１が故障している場合であっても、通常露出値画像Ａ１を撮像した後、通常露出値画像Ａ６を撮像するまでは露出の最大値で撮像されることはない。

さらに、通常露出値画像Ａ１を撮像した後も所定時間の間、露出の最大値で撮像を続けるとともに、この間に撮像された画像の濃度分布から画像が黒つぶれであると判断され続けなければカメラ１１が故障していることを検出できない。

さらに、画像が黒つぶれしているものの画像の黒つぶれが環境の変化による一時的なものであり、所定の時間経過後には画像処理装置１が復帰するものと予測できるのか、カメラ１１の故障によって所定の時間経過後であっても画像処理装置１は復帰しないのかの判定も困難である。

なお、画像認識部１２によって画像の濃度分布が明るい濃度に偏っていると判断された場合は、次の撮像の露出値を１段階低く変更する。また、画像認識部１２によって画像の濃度分布が適切であると判断された場合は、次の撮像の露出値を変更させない。

図７−２は、３３ｍｓｅｃ毎に通常露出値画像、露出最大値での画像（以下、最大露出値画像という）、露出最小値での画像（以下、最小露出値画像という）を順番に撮像し、１００ｍｓｅｃ毎に通常露出値画像の濃度を認識している場合を示している。

通常露出値画像の画像認識が行われる毎に通常露出値を、直前に撮像された通常露出値画像の通常露出値よりも最適値に近づくよう変更している。ここでは、３３ｍｓｅｃ毎に通常露出値画像、最大露出値画像、最小露出値画像を順番に撮像し、画像の濃度を認識するのに１００ｍｓｅｃを要しているため、画像の露出値を変更するのに１６７ｍｓｅｃ遅延することとなる。

通常露出値画像Ａ１は画像認識Ｘ１に示す間に濃度認識され、通常露出値画像Ａ２は画像認識Ｘ２に示す間に濃度認識され、通常露出値画像Ａ３は画像認識Ｘ３に示す間に濃度認識されている。以下、同様に通常露出値画像は画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。

画像認識Ｘ１によって通常露出値画像Ａ１の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ３を撮像する。また、画像認識Ｘ２によって通常露出値画像Ａ２の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ４を撮像する。さらに、画像認識Ｘ３によって通常露出値画像Ａ３の濃度を認識すると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像Ａ５（図示せず）を撮像する。以下、同様に通常露出値画像の濃度認識をすると、この濃度認識に基づいてカメラ１１の通常露出値が最適値に近づくよう変更して通常露出値画像を撮像する動作を繰り返すものとする。

また、通常露出値画像Ａ１の後に最大露出値画像Ｂ１、最小露出値画像Ｃ１を撮像している。さらに、通常露出値画像Ａ２の後に最大露出値画像Ｂ２、最小露出値画像Ｃ２を撮像している。

最大露出値画像Ｂ１は、画像認識Ｙ１に示す間に濃度認識され、最大露出値画像Ｂ２は画像認識Ｙ２に示す間に濃度認識され、最大露出値画像Ｂ３は画像認識Ｙ３に示す間に濃度認識されている。以下、同様に最大露出値画像は最大露出値画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。

また、最小露出値画像Ｃ１は画像認識Ｚ１に示す間に濃度認識され、最小露出値画像Ｃ２は画像認識Ｚ２に示す間に濃度認識されている。以下、同様に最小露出値画像は最小露出値画像の撮像後１００ｍｓｅｃ間で濃度認識されるものとする。

画像認識Ｙ１による最大露出値画像Ｂ１と画像認識Ｙ２による最大露出値画像Ｂ２の濃度を認識し、この濃度認識に基づいてカメラ１１の故障を判定する。以下、同様に最大露出値画像の濃度を２回認識することによってカメラ１１の故障を判定するものとする。

ここでは撮像した通常露出値画像Ａ１の濃度分布が画像認識Ｘ１で暗い濃度に偏っていると判断した場合を示している。このため、通常露出値画像Ａ３においては通常露出値画像Ａ１，Ａ２よりも露出値が１段階高くなるよう変更して撮像している。

露出値が小さく設定されていたために通常露出値画像Ａ１が黒つぶれ状態の画像となった場合であっても、最大露出値画像Ｂ１が黒つぶれ状態でなければ通常露出値画像Ａ２を撮像する際に通常露出値を最適化することによって黒つぶれ状態でない画像を撮像できるため画像処理装置１は以後通常露出値を変更しながら撮像するとともに露出最大値、露出最小値の順番で撮像する通常の動作を続けることとなる。このように１回目の最大露出値画像Ｂ１によって、露出値を最適化すれば黒つぶれ状態でない画像を撮像できるか否かを判定する（以下、黒つぶれ判定という）。なお、撮像された画像が黒つぶれ状態であるか否かの判定精度を上げるため、最大露出値画像を複数枚撮像した後、黒つぶれ判定をしてもよい。

一方、露出値が最大で撮像される最大露出値画像Ｂ１が黒つぶれ状態である場合は、カメラ１１によって制御可能な露出値では撮像できない撮像に不適切な環境下（以下、限界環境下という）であるか、カメラ１１が故障しているかのいずれかであると判断する。

限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断した場合、次の最大露出値画像Ｂ２によって両者どちらが原因であるかを判断する（以下、故障判定という）。ここで、限界環境下であるかカメラ１１の故障であるかを区別する方法としては、例えばどれだけ暗い環境下であってもカメラ１１が露出最大値である場合は画像が黒つぶれしないで撮像できる光源をカメラ１１の前に搭載しておく。

そして、次の最大露出値画像である最大露出値画像Ｂ２を撮像する際に、この光源を撮像する。露出最大値でこの光源を黒つぶれ状態でなく撮像できた場合は限界環境下であると判断し、露出最大値であってもこの光源が黒つぶれ状態で撮像される場合はカメラ１１の故障であると判断する。

なお、カメラ１１の前に光源を搭載する場合に限られず車両が搭載しているヘッドライトによる明るさを濃度認識できた場合は、限界環境下であると判断し、車両が搭載しているヘッドライトによる明るさを濃度認識できない場合はカメラ１１の故障であると判断してもよい。

さらに、車両が走行している時間帯（昼と夜等）、車両の走行している環境（雨、雪、霧、トンネル内等）の情報を考慮して限界環境下であるかカメラ１１の故障かを判断してもよい。なお、カメラ１１の故障であるか否かの判定精度を上げるため、最大露出値画像を複数枚撮像した後、限界環境下であるかカメラ１１の故障であるかを判断してもよい。

限界環境下であると判断された場合は、カメラ１１によって制御可能な露出値の範囲内で撮像できるような撮像環境に変化するのを待つこととなる。一方、カメラ１１の故障による撮像であると判断された場合は、画像処理装置１はカメラ１１の故障を報知部１６によって画像処理装置１の使用者に通知する。なお、限界環境下であることを報知部１６によって画像処理装置１の使用者に通知してもよい。

このように、通常露出値画像Ａ１が黒つぶれ状態の画像であった場合であっても、通常露出値画像Ａ１を撮像した後、最大露出値画像Ｂ１を撮像しているため、黒つぶれ状態が露出値が小さいために引き起こされたものであるか否かの判断をすることができる。

さらに、どれだけ暗い環境下であってもカメラ１１が露出最大値である場合は黒つぶれしないで撮像できるきる光源をカメラ１１の前に搭載し、最大露出値画像Ｂ２を撮像する際にこの光源を撮像しているので、最大露出値画像Ｂ１が黒つぶれ状態の画像であってもカメラ１１の故障が原因であるか否かの判定を行うことができる。

つぎに、画像認識Ｚ１による最小露出値画像Ｃ１と画像認識Ｚ２による最小露出値画像Ｃ２の濃度を認識し、この濃度認識に基づいてカメラ１１の故障を判定する。以下、同様に最小露出値画像の濃度を２回認識することによってカメラ１１の故障を判定するものとする。

露出値が大きく設定されていたために通常露出値画像Ａ１が白飛び状態の画像となった場合であっても、最小露出値画像Ｃ１が白飛び状態でなければ通常露出値画像Ａ２を撮像する際の通常露出値を最適化することによって白飛び状態でない画像を撮像できるため画像処理装置１は以後通常露出値を変更しながら撮像するとともに露出最大値、露出最小値の順番で撮像する通常の動作を続けることとなる。このように１回目の最小露出値画像Ｃ１によって、露出値を最適化すれば白飛び状態でない画像を撮像できるか否かを判定する（以下、白飛び判定という）。なお、撮像された画像が白飛び状態であるか否かの判定精度を上げるため、最小露出値画像を複数枚撮像した後、白飛び判定をしてもよい。

一方、露出値が最大で撮像される最小露出値画像Ｃ１が白飛び状態である場合は、限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断する。限界環境下であるか、カメラ１１が故障しているかのいずれかであると判断した場合、次の最小露出値画像Ｃ２によって故障判定を行う。

ここで、限界環境下であるかカメラ１１の故障であるかを区別する方法としては、例えば露出値を限りなく０秒に近づけることや、カメラ１１の前方を黒い板等によって遮断して外部からの光が一切入らないようにすることによって逆光等の明るい環境下であってもカメラ１１が露出最小値である場合は画像が白飛びしないで撮像できる状態を設定できるようにしておく。

そして、次の最小露出値画像である最小露出値画像Ｃ２を撮像する際に、逆光等によっても白飛びしないで撮像できる状態で撮像する。露出最小値でこの光源を白飛び状態でなく撮像できた場合は限界環境下であると判断し、露出最小値であってもこの設定による撮像が白飛び状態で撮像される場合はカメラ１１の故障であると判断する。

さらに、車両が走行している時間帯（昼と夜等）、車両の走行している環境（雨、雪、霧、トンネル内等）の情報を考慮して限界環境下であるかカメラ１１の故障かを判断してもよい。なお、カメラ１１の故障であるか否かの判定精度を上げるため、最小露出値画像を複数枚撮像した後、限界環境下であるかカメラ１１の故障であるかを判断してもよい。

限界環境下であると判断された場合は、カメラ１１によって制御可能な露出値の範囲内で撮像できるような撮像環境に変化するのを待つこととなる。一方、カメラ１１の故障による撮像であると判断された場合は、画像処理装置１はカメラ１１の故障を報知部１６によって画像処理装置１の使用者に通知する。

このように、通常露出値画像Ａ１が白飛び状態の画像であった場合であっても、通常露出値画像Ａ１を撮像した後、最小露出値画像Ｃ１を撮像しているため、白飛び状態が露出値が小さいために引き起こされたものであるか否かの判断をすることができる。

さらに、どれだけ明るい環境下であってもカメラ１１が露出最小値である場合は白飛びしないで撮像できる状態で最小露出値画像Ｃ２を撮像しているので、最小露出値画像Ｃ１が白飛び状態の画像であってもカメラ１１の故障が原因であるか否かの判定を行うことができる。

また、通常露出値画像Ａ１においてスミアやゴーストが発生していると判断された場合も、最小露出値画像Ｃ１が白飛び状態の画像でなければ、露出値を最適化することによってスミアやゴーストが発生しないような画像を撮像できるため画像処理装置１は以後の動作をそのまま続けることとなる。

なお、最小露出値画像Ｃ１においてもスミアやゴーストが発生する場合は、限界環境下またはカメラ１１の故障であると判断される。そして、最小露出値画像Ｃ２の撮像によってカメラ１１の故障であるか否かの判定を行う。なお、スミアやゴーストが発生した画像はスミア等が道路上の白線等と間違って認識される場合があるため、画像処理装置１からの画像データを演算処理することによって車を誘導する装置等においてはスミア等が発生した画像を用いないこととする。

次に、図２に示した画像処理装置の処理動作について説明する。図８は、画像処理装置の処理動作を示すフローチャートである。露出値制御部１３においてカメラ１１の露出値が通常露出値となるよう制御し、カメラ１１は通常の露出値で画像を撮像して通常露出値画像を得る（ステップＳ１００）。撮像された通常露出値画像は、画像認識部１２において濃度認識される。

つぎに、露出値制御部１３においてはカメラ１１の露出値が最大露出値となるよう制御し、カメラ１１は最大の露出値で画像を撮像して最大露出値画像を得る（ステップＳ１１０）。撮像された最大露出値画像は、画像認識部１２において濃度認識される。

つぎに、露出値制御部１３においてはカメラ１１の露出値が最小露出値となるよう制御し、カメラ１１は最小の露出値で画像を撮像して最小露出値画像を得る（ステップＳ１２０）。撮像された最小露出値画像は、画像認識部１２において濃度認識される。

その後、同様に露出値制御部１３において、通常露出値、露出最大値、露出最小値の順番で露出値を制御する。そして、カメラ１１は通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像する。

図９−１は、通常露出値画像を撮像するための通常露出値を変更する手順を示すフローチャートである。カメラ１１で撮像された通常露出値画像は、画像認識部１２において濃度認識される（ステップＳ２００）。そして、この濃度認識に基づいて、通常露出値画像が撮像された通常露出値が小さいと判断された場合は（ステップＳ２１０、Ｙｅｓ）、この画像の濃度認識後、次に通常露出値画像を撮像する際に、通常露出値を１段階大きくして通常露出値画像を撮像する（ステップＳ２２０）。

一方、濃度認識に基づいて、通常露出値画像が撮像された通常露出値が大きいと判断された場合は（ステップＳ２３０、Ｙｅｓ）、この画像の濃度認識後、次に通常露出値画像を撮像する際に、通常露出値を１段階小さくして通常露出値画像を撮像する（ステップＳ２４０）。また、濃度認識に基づいて、通常露出値画像が撮像された通常露出値が適切であると判断された場合は、次に通常露出値画像を撮像する際に、露出値の変更をせず通常露出値画像を撮像する（ステップＳ２５０）。

図９−２は、最大露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。カメラ１１で撮像された最大露出値画像は、画像認識部１２において濃度認識される。そして、濃度認識に基づいて最大露出値画像が黒つぶれしているか否かの黒つぶれ判定をする（ステップＳ３００）。最大露出値画像が黒つぶれしていると判定された場合は（ステップＳ３１０、Ｙｅｓ）、この画像の濃度認識後、次に最大露出値画像を撮像する際に、カメラ１１の故障判定を行う（ステップＳ３２０）。一方、ステップＳ３１０において、最大露出値画像が黒つぶれしていないと判定された場合は、この画像の濃度認識後、次に最大露出値画像を撮像する際にも同様の黒つぶれ判定を行うこととなる。なお、カメラ１１の故障判定は、カメラ１１の前方に装着しておいた光源等を撮像することによって行う。

カメラ１１の故障判定においてカメラ１１の故障ではないと判定された場合は（ステップＳ３３０、Ｎｏ）、限界環境下による撮像であったため次に露出最大値で撮像する際に、カメラ１１の前方に装着しておいた光源等を撮像しないで撮像対象を撮像した最大露出値画像が黒つぶれしているか否かの黒つぶれ判定をする。一方、カメラ１１の故障判定においてカメラ１１の故障であると判定された場合は（ステップＳ３３０、Ｙｅｓ）、報知部１６によって画像処理装置の使用者にカメラ１１が故障していることを通知する（ステップＳ３４０）。

図９−３は、最小露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。カメラ１１で撮像された最小露出値画像は、画像認識部１２において濃度認識される。そして、濃度認識に基づいて最小露出値画像が白飛びしているか否かの白飛び判定をする（ステップＳ４００）。最小露出値画像が白飛びしていると判定された場合は（ステップＳ４１０、Ｙｅｓ）、この画像の濃度認識後、次に最小露出値画像を撮像する際に、カメラ１１の故障判定を行う（ステップＳ４２０）。一方、ステップＳ４１０において、最小露出値画像が白飛びしていないと判定された場合は、この画像の濃度認識後、次に最小露出値画像を撮像する際にも同様の白飛び判定を行うこととなる。なお、カメラ１１の故障判定は、カメラ１１に外部からの光源等が入らない状態で撮像することによって行う。

カメラ１１の故障判定においてカメラ１１の故障ではないと判定された場合は（ステップＳ４３０、Ｎｏ）、限界環境下による撮像であったため次に露出最小値で撮像する際に、カメラ１１に光源等が入らない状態でなく撮像対象を撮像した最小露出値画像が白飛びしているか否かの白飛び判定をする。一方、カメラ１１の故障判定においてカメラ１１の故障であると判定された場合は（ステップＳ４３０、Ｙｅｓ）、報知部１６によって画像処理装置の使用者にカメラ１１が故障していることを通知する（ステップＳ４４０）。

なお、本実施例１においては、画像を撮像した後に画像の濃度認識を行っているが、１回の撮像や画面表示を奇数段目と偶数段目の２回の走査に分けて行うインターレース方式である場合、１回のみの走査で得た画像で濃度認識やカメラ１１の故障判定を行ってもよい。例えば、１回目の走査が奇数段目の走査であり、２回目の走査が偶数段目の走査である場合、１回目の走査で得た画像で濃度認識を行う。これによって、画像の濃度認識が終わるまでの時間が短縮されることとなる。

また、露出最大値で撮像する場合、１回目の走査で得た画像で黒つぶれ判定をし、２回目の走査で得た画像でカメラ１１の故障判定を行うといったように１回目の撮像と２回目の撮像で撮像環境を変更してもよい。同様に、露出最小値で撮像する場合においても、１回目の走査で得た画像で白飛び判定をし、２回目の走査で得た画像でカメラ１１の故障判定を行うといったように１回目の撮像と２回目の撮像で撮像環境を変更してもよい。

なお、本実施例１においては、３３ｍｓｅｃに１回の割合でカメラ１１が１つの画像を撮像する場合について説明したが、カメラ１１が画像を撮像する間隔は３３ｍｓｅｃに１回の割合に限られず、これよりも長い時間間隔や短い時間間隔で画像を撮像するようにしてもよい。また、画像認識部１２が画像の濃度を認識するのに１００ｍｓｅｃを要する場合について説明したが、画像認識部１２が画像の濃度を認識するのに要する時間は１００ｍｓｅｃに限られず、画像の濃度を認識するのに要する時間がこれよりも短い場合や長い場合であってもよい。画像の濃度を認識するのに要する時間がこれよりも短い場合は、画像を撮像してから通常露出値の変更をするまでの遅延時間が短くなる。

なお、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像することとしたが、撮像する順番はこの順番に限られず、例えば通常露出値画像、最小露出値画像、最大露出値画像の順番で撮像してもよい。

また、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の撮像間隔を時間的に等間隔で撮像することとしたが、撮像間隔は時間的に等間隔である場合に限られない。例えば、通常露出値画像を１０枚等の複数枚撮像した後、最大露出値画像と最小露出値画像を１枚撮像するようにしてもよい。これにより、撮像間隔が時間的に等間隔である場合よりも、通常露出値画像を多く撮像できるため通常露出値画像の画像濃度の認識精度が向上する。したがって、撮像された画像の演算処理に用いる画像データが多くなる。

なお、本実施例１においては、黒つぶれ判定や白飛び判定を行った後、限界環境下であるかカメラ１１の故障であるかの故障判定をしたが、限界環境下であるかカメラ１１の故障であるかの故障判定をした後、限界環境下であると判断された場合に黒つぶれ判定や白飛び判定を行ってもよい。

なお、本実施例１においては、通常露出値画像、最大露出値画像、最小露出値画像の順番で画像を撮像することとしたが、通常露出値画像の濃度が所定値に収まらないような状況が所定回数続いた場合のみ最大露出値画像と最小露出値画像を撮像して黒つぶれ判定、白飛び判定、カメラ１１の故障判定を行うようにしてもよい。

このように実施例１によれば、通常露出値画像を撮像した後、最大露出値画像、最小露出値画像を撮像しているので、画像の撮像環境が変わりやすい状況であっても黒つぶれ判定、白飛び判定、環境限界下であるかの判定、カメラ１１の故障であるかの判定を短時間で行うことができる。

本実施例２では、本発明にかかる画像処理装置を運転支援システムに組み込む場合の構成について説明する。まず、実施例１では通常露出値、露出最大値、露出最小値の３通りの露出値を所定の周期で切替えていたが、本実施例２では、最大露出値や最小露出値へ切替えるタイミングや間隔を可変制御可能としている。

この本実施例２にかかる画像処理装置２の構成を図１０に示す。同図に示すように、画像処理装置２は、その内部に故障判定タイミング変更部２１を備えている。この故障判定タイミング変更部２１は、外部からの制御信号を受けて露出値制御部２３の動作、すなわち、通常露出値、露出最大値、露出最小値の切替動作を制御する。さらに、故障タイミング変更部２１は、どのタイミングで露出最大値および露出最小値を挿入したかを画像認識部２２に通知する。

そして、画像認識部２２は、故障判定タイミング変更２１からの通知をもとに、取得した画像を故障判定部１５による故障判定に使用する。また、画像処理部２２は、通常露出値で撮影した画像に対して所定の画像処理を施して外部に出力するとともに、故障判定部１５による判定結果を外部に出力する。

その他の構成および動作は、図２に示した画像処理装置１と同様であるので、同一の構成要素には同一の符号を付して説明を省略する。

つぎに、本発明にかかる画像処理装置を組み込んだ運転支援システムの構成例を図１１に示す。同図に示す運転支援システムでは、画像処理装置に対応する画像処理ＥＣＵ（Electrical Control Unit）３は、外部のカメラ３１が撮影した画像を取得し、画像処理と故障判定をおこなって制御ＥＣＵ４に出力するとともに、制御ＥＣＵ４からの制御信号を受けて露出最大値や露出最小値の切替動作を制御する。

制御ＥＣＵ４は、各種情報を取得し、車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する運転支援装置として機能する。具体的には、制御ＥＣＵ４は、画像処理ＥＣＵ３に加え、レーザレーダ３２、超音波センサ３３、車速センサ３４などの検知手段や、運転者への情報提供を行う情報提供系５および車両の動作制御を行う動作制御系６と接続する。

情報提供系５は、ディスプレイ５１やスピーカ５２を含む。この情報提供系５は、ナビゲーションシステムやカーオーディオシステムなど、他の車載システムと共用することが好適である。

また、動作制御系６は、ハンドルの動作を制御するハンドル制御アクチュエータ６１、スロットル開度を制御するスロットル制御アクチュエータ、ブレーキの動作を制御するブレーキ制御アクチュエータ６３、シートベルトの巻き上げ機構を制御するシートベルト制御アクチュエータ６４などを含む。

制御ＥＣＵ４は、その内部に支援処理部４１、支援動作変更部４２、故障判定タイミング設定部４３を有する。支援処理部４１は、各種情報から状況判断し、支援処理を実行する処理を行う。

具体的には、支援処理部４１は、レーンキーピング支援、車間距離調節支援、衝突回避支援、衝突緩和支援、駐車支援などの支援を実行する。ここで、レーンキーピング支援とは、画像認識によって路上の白線を識別し、車線逸脱の危険がある場合に情報提供系５を用いた運転者への通知や、動作制御系６（特にハンドル制御アクチュエータ６１など）を用いた動作制御を実行することで、自車両の車線逸脱を防止する支援処理である。

また、車間距離調節支援とは、画像処理やレーザレーダ３２の出力から先行車両との車間距離を測定し、車間距離が適切な範囲となるように情報提供系５を用いた通知や、動作制御系６（特にスロットル制御アクチュエータ６２など）を用いた動作制御を実行することで、車間距離の調節を支援する支援処理である。

同様に、衝突回避支援は、画像処理やレーザレーダ３２、超音波センサ３３の出力から衝突事故の危険を検知し、運転者への通知や回避動作（ブレーキ制御アクチュエータ６３などの自動操作）を実行することで衝突事故の回避を支援する処理である。

また、衝突緩和支援は、画像処理やレーザレーダ３２、超音波センサ３３の出力から衝突事故の発生を予測し、ブレーキ制御アクチュエータ６３による減速やシートベルト制御アクチュエータ６４によるシートベルトの事前巻上げ、エアバッグの事前展開などによって事故の衝撃を緩和する支援を行う処理である。

さらに、駐車支援は、画像処理や超音波センサ３３の出力から駐車スペースの状態を判定し、報提供系５を用いた運転者への通知や、動作制御系６（特にハンドル制御アクチュエータ６１など）を用いた動作制御を実行することで、駐車動作を簡易化する支援処理である。

支援動作変更部４２は、画像処理ＥＣＵ３がカメラ３１における故障発生を通知した場合に、支援処理部４１による支援処理の動作内容を変更する処理を行う。具体的には、各支援処における通知（情報提供系５を用いた情報提供支援）については、カメラ３１の故障によって画像処理を利用した情報提供が不可能であることを通知する。

一方、各支援処理における動作制御については、動作制御による支援自体を中止するか、他のセンサ（例えばレーダセンサ３２や超音波センサ３３）によって画像処理の代替が可能であるならば、これらの代替機能を用いた動作制御に切替える。

故障判定タイミング設定部４３は、自車両の車両状態、自車両周辺の周辺状況、画像情報の使用用途に基づいて、故障判定のタイミングを設定し、画像処理ＥＣＵ３に送信する処理を行う。

ここで、自車両の車両状態は、車速センサ３４などのセンサや動作制御系６から取得することができる。また、自車両周辺の周辺状況は、レーザレーダ３２や超音波センサ３３、画像処理ＥＣＵ３の出力から判断することができる。さらに、画像情報の使用用途は、提供する支援処理や使用するアクチュエータなどによって変化する。

そして、故障判定タイミング設定部４３は、カメラ３１の異常状態を早期に検出する必要がある場合には、故障判定のタイミング、すなわち、露出最大値および露出最小値の挿入タイミングを早め、また、挿入間隔（故障判定の間隔）を短く設定する。一方、異常状態の検出を早期に検出する必要性が小さい場合には、故障判定のタイミング遅く設定し、また、故障判定の間隔を長く設定する。

例えば、情報提供による処理を行なう場合には、異常状態を早期に検出する必要性が比較的小さいので、故障判定のタイミングを遅く、間隔を長く設定する。その一方で、衝突回避支援や衝突緩和支援など、動作制御が緊急に必要となる支援では、かかる支援を高速かつ正確に実施するためにカメラ３１の異常状態を早期に検出することが必要となるので、故障判定の挿入タイミングを早く、間隔を短く設定する。

このように画像の使用用途が動作制御である場合には、その動作制御に使用するアクチュエータの応答時間が大きく影響する。例えば、衝突緩和支援において衝突の発生を予測し、シートベルト制御アクチュエータ６４がシートベルトの事前巻上げを行なう場合、図１２に示すように、現時点から衝突予測時点までの全体時間がＴｍであるとすると、アクチュエータ（ここではシートベルト制御アクチュエータ６４）の動作を衝突予測時点までに完了する必要がある。

このアクチュエータの応答所要時間が「Ｔａ」であるならば、画像処理とカメラ３１の故障判定に使用可能な時間は「Ｔｂ＝Ｔｍ−Ｔａ」となる。そこで、故障判定タイミング設定部４３は、カメラ３１の異常状態の検出が使用可能時間「Ｔｂ」内に収まるように故障判定のタイミングと間隔を設定する。

そして、アクチュエータ応答速度Ｔａはアクチュエータごとに異なるので、故障判定タイミング設定部４３は、使用するアクチュエータの種類に応じて故障判定のタイミングと間隔を変更することとなる。

また、全体時間「Ｔｍ」、すなわち動作完了までにどれだけの時間的な余裕があるかは、自車両の状態や周辺状況によって変化する。例えば、車間距離調節支援では、先行車両と自車両との車間距離が小さいほど全体時間「Ｔｍ」が短くなる。車間距離調節支援に使用するアクチュエータの応答速度は変わらないので、使用可能時間「Ｔｂ」が短くなり、故障判定のタイミングを早く、間隔を短く設定することが必要となる。

同様に、車速センサ３４によって測定された自車両の走行速度が大きいほど、全体時間「Ｔｍ」が短くなる。そのため、使用可能時間「Ｔｂ」が短くなり、故障判定のタイミングを早く、間隔を短く設定することが必要となる。

上述してきたように、本実施例２にかかる画像処理装置（画像処理ＥＣＵ）、運転支援装置（運転支援ＥＣＵ）および運転支援システムでは、車両状態や周辺状況、画像情報の使用用途に適応し、最大露出値や最小露出値へ切替えるタイミングや間隔を可変制御してカメラの故障判定を行なっている。

そのため、カメラに故障が発生した場合であっても、運転支援システムにおける誤動作の発生を確実に防止し、安定して動作する信頼性の高い運転支援システムを得ることができる。

なお、本実施例２における運転支援システムは、本発明の適用の一例であり、適宜構成を変更して実施することのできるものである。たとえば、本実施例２では車両状態や周辺状況、画像情報の使用用途を判定して故障判定のタイミングを設定する故障判定タイミング設定部を運転支援装置である制御ＥＣＵ４に持たせているが、この故障判定タイミング設定部を画像処理ＥＣＵ３に持たせる構成としてもよいし、画像処理ＥＣＵ３と制御ＥＣＵ４とを一体化した構成としてもよい。

以上のように、本発明にかかる画像処理装置は、画像を撮像する環境が不適切な環境であることやカメラが故障していることを短時間で判断できる画像処理装置に適しており、信頼性の高い運転支援装置および運転支援システムの実現に寄与することができる。

実施例１にかかる画像処理装置の概要構成を示す概要構成図である。 図１に示した画像処理装置の構成を示す図である。 画像が明るすぎる場合の濃度ヒストグラムの一例を示す図である。 画像に発生したスミアの検出を説明するための図である。 画像が暗すぎる場合の濃度ヒストグラムの一例を示す図である。 露出バランスが良い場合の濃度ヒストグラムの一例を示す図である。 カメラを通常露出値で撮像する場合を説明するための図である。 カメラ１１を通常の露出値、露出最大値、露出最小値の順番で制御して撮像する場合を説明するための図である。 画像処理装置の処理動作を示すフローチャートである。 通常露出値画像を撮像するための露出値を変更する手順を示すフローチャートである。 最大露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである 最小露出値画像の濃度認識に基づいてカメラの故障判定を行う手順を示すフローチャートである。 実施例２にかかる画像処理装置の構成を示す構成図である。 実施例２にかかる運転支援システムの概要構成を示す概要構成図である。 故障判定タイミングの設定について説明する説明図である。

符号の説明

１，２ 画像処理装置
３ 画像処理ＥＣＵ
４ 制御ＥＣＵ
５ 情報提供系
６ 動作制御系
１１，３１ カメラ
１２，２２ 画像認識部
１３，２３ 露出値制御部
１４ モニタ
１５ 故障判定部
１６ 報知部
２１ 故障判定タイミング変更部
３２ レーザレーダ
３３ 超音波センサ
３４ 車速センサ
４１ 支援処理部
４２ 支援動作変更部
４３ 故障判定タイミング設定部
５１ ディスプレイ
５２ スピーカ
６１ ハンドル制御アクチュエータ
６２ スロットル制御アクチュエータ
６３ ブレーキ制御アクチュエータ
６４ シートベルト制御アクチュエータ
Ａ１〜Ａ７ 通常露出値画像
Ｂ１〜Ｂ３ 最大露出値画像
Ｃ１〜Ｃ３ 最小露出値画像
Ｘ１〜Ｘ５，Ｙ１〜Ｙ３，Ｚ１，Ｚ２ 画像認識
Ｔａ 使用可能時間
Ｔｂ アクチュエータ応答所要時間
Ｔｍ 全体時間

Claims (24)

1. 撮像部と、前記撮像部からの画像の濃度を認識する画像認識部と、前記画像認識部の認識結果に基づいて露出値を制御する露出値制御部とを有する画像処理装置において、
   前記露出値制御部は、前記露出値を自動制御している露出値自動制御期間中に、露出値を最大露出値とする最大露出値期間および最小露出値とする最小露出値期間を挿入し、
   前記画像認識部は、その認識結果に応じて、撮像部の異常または環境が撮像に不適切な状態にあることを判断することを特徴とする画像処理装置。
2. 前記露出値制御部は、露出値自動制御期間、最大露出値期間および最小露出値期間を同一の時間をもって所定の順番にしたがって行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記露出値制御部は、露出値自動制御期間が、最大露出値期間および最小露出値期間よりも長くなるよう制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像認識部は、
   前記露出値自動制御期間に撮像された画像に擬似信号であるスミアまたはゴーストが発生していることを認識した場合であって、前記最小露出値期間に撮像された画像にスミアまたはゴーストが発生していないことを認識した場合は、前記露出値自動制御期間における露出値が不適切であると判断することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記画像認識部は、
   最大露出値期間に撮像された画像が黒つぶれ状態である場合または最小露出値期間に撮像された画像が白飛び状態である場合に、撮像手段の異常または環境が撮像に不適切な状態にあると判断することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記画像認識部は、
   最大露出値期間に撮像された画像が黒つぶれ状態である場合は、
   露出値を最大にして撮像される画像が黒つぶれ状態にならないように撮像環境を変えた後、最大露出値期間に撮像された画像が黒つぶれ状態である場合は撮像手段の異常であると判断し、黒つぶれ状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記露出値を最大にして撮像される画像が黒つぶれ状態にならないような撮像環境は、前記撮像手段が所定の光源を撮像する撮像環境であることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記画像認識部は、
   最小露出値期間に撮像された画像が白飛び状態である場合は、
   露出値を最小にして撮像される画像が白飛び状態にならないように撮像環境を変えた後、最小露出値期間に撮像された画像が白飛び状態である場合は撮像手段の異常であると判断し、白飛び状態でない場合は環境が撮像に不適切な状態にあると判断することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記露出値を最小にして撮像される画像が白飛び状態にならないような撮像環境は、前記撮像手段に光源を入れないで撮像する撮像環境であることを特徴とする請求項１〜８のいずれ一つに記載の画像処理装置。
10. 前記画像認識部は、前記撮像手段による撮影が奇数段目と偶数段目の２回の走査に分けて行うインターレース方式である場合は、１回の走査で得た画像によって濃度認識を行うことを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 前記画像認識部は、
    前記インターレース方式である場合、１回目の走査で得た画像によって黒つぶれ状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする請求項１〜１０のいずれか一つに記載の画像処理装置。
12. 前記画像認識部は、
    前記インターレース方式である場合、１回目の走査で得た画像によって白飛び状態であるか否かを判断し、２回目の走査で得た画像によって撮像手段の異常または撮像環境が不適切な状態にあることを判断することを特徴とする請求項１〜１１のいずれか一つに記載の画像処理装置。
13. 前記画像認識部において撮像手段の異常であると判断した場合は、前記撮像手段が異常であることを通知する通知部を備えることを特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置。
14. 車両周辺の画像を撮影、もしくは車両周辺を撮影した画像を外部の装置から受信する画像取得手段と、
    前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、
    前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、
    を備えたことを特徴とする画像処理装置。
15. 前記露出制御手段による前記最大露出期間および前記最小露出期間の挿入タイミングおよび／または挿入間隔を変更制御するタイミング変更部をさらに備えたことを特徴とする請求項１４に記載の画像処理装置。
16. 自車両の車両状態、自車両周辺の周辺状況、撮影画像の使用用途のうち少なくともいずれか一つに基づいて前記タイミング変更部による変更制御の内容を設定するタイミング設定部をさらに備えたこと特徴とする請求項１５に記載の画像処理装置。
17. 前記判定手段による判定結果を、外部の車両制御装置に出力する出力手段をさらに備えたことを特徴とする請求項１４，１５または１６に記載の画像処理装置。
18. 画像処理装置が処理を施した画像情報を取得する画像情報取得手段と、
    少なくとも前記画像情報を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、
    前記画像処理装置が使用する撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作内容を変更する支援動作変更手段と、
    を備えたことを特徴とする運転支援装置。
19. 画像の濃度分布に基づく露出自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出期間を挿入し、当該最大露出期間および最小露出期間に撮影した画像を用いて撮影部の異常判定を行なう画像処理装置に対し、自車両の車両状態、自車両周辺の周辺状況、前記画像情報の使用用途のうち少なくともいずれか一つに基づいて前記最大露出期間および最小露出期間の挿入タイミングおよび／または挿入間隔を設定して送信するタイミング設定手段をさらに備えたことを特徴とする請求項１８に記載の運転支援装置。
20. 前記タイミング設定手段は、自車両と他車両との車間距離、自車両の走行速度、車両の動作制御に用いるアクチュエータの応答速度、のいずれかを少なくとも用いて前記挿入タイミングおよび／または挿入間隔を設定することを特徴とする請求項１９に記載の運転支援装置。
21. 前記支援手段は、車線の逸脱を防止するレーンキーピング支援、車間距離の調節を支援する車間距離調節支援、車両の衝突事故を回避する衝突回避支援、衝突事故発生時の損傷を軽減する衝突緩和支援、駐車動作を簡易化する駐車支援、のいずれかを少なくとも実行することを特徴とする請求項１８，１９または２０に記載の運転支援装置。
22. 前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、前記支援手段の動作を中止することを特徴とする請求項１８〜２１のいずれか一つに記載の運転支援装置。
23. 前記支援手段は車両の動作制御による支援を実行し、前記支援動作変更手段は、前記撮影部に異常が発生したことを示す通知を受けた場合に、他の検知手段を前記画像処理手段の代替手段として用いて前記支援手段を動作させることを特徴とする請求項１８〜２２のいずれか一つに記載の運転支援装置。
24. 撮影部が撮影した画像を取得する画像取得手段と、
    前記画像取得手段が取得した画像の濃度分布に基づいて撮影時における露出値を制御するとともに、当該露出値自動制御期間中に露出値を強制的に最大値とする最大露出値期間および露出値を強制的に最小値とする最小露出値期間を挿入する露出制御手段と、
    前記露出値自動制御期間、前記最大露出期間および／または前記最小露出期間に撮影した画像に基づいて、撮像手段における異常の有無および／または環境が撮像に不適切な状態にあるか否かを判定する判定手段と、
    少なくとも前記画像を用いて車両の動作制御もしくは運転者への情報提供を行って車両走行を支援する支援手段と、
    を備えたことを特徴とする運転支援システム。

Images