JP6183305B2 - 故障検出装置および故障検出プログラム - Google Patents

Description

本発明は、撮像装置の故障を検出する故障検出装置、および故障検出プログラムに関する。

ステレオカメラを用いて撮像を行う撮像装置であって、逆光等の悪条件等、何らかの原因によって良好に撮像ができないことを検出するものが知られている（例えば、特許文献１参照）。

特許第４９５３４９８号公報

しかしながら、上記撮像装置では、撮像ができない場合に、悪条件のために撮像ができないのか撮像装置の故障によって撮像ができないのかを認識できないという問題点があった。

そこで、このような問題点を鑑み、撮像装置の故障を検出する故障検出装置および故障検出プログラムを提供できるようにすることを本発明の目的とする。

本発明の故障検出装置において、撮像画像取得手段は、それぞれ独立して露出制御可能な複数の撮像装置にて、重複した撮像領域を表す重複領域を有するように撮像された撮像画像をそれぞれ取得する。そして、重複領域抽出手段は、取得した複数の撮像画像において重複領域をそれぞれ抽出し、画像特徴抽出手段は、抽出した複数の重複領域においてそれぞれ画像特徴を抽出する。また、類似判定手段は、複数の重複領域における画像特徴を比較し、これらの画像特徴が類似するか否かを判定し、故障判定手段は、これらの画像特徴が類似していない場合に撮像装置が故障していると判定する。

すなわち、本発明の故障検出装置においては、別々の撮像装置から得られた撮像画像であっても、重複領域においては同様の画像特徴を有する確率が高くなる特性を利用して、画像特徴が類似するか否かによって故障判定を行っている。このような故障検出装置によれば、撮像装置の故障を良好に検出することができる。

なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された故障検出装置１の概略構成を示すブロック図である。 実施形態において制御部１０のＣＰＵ１１が実行する故障判定処理を示すフローチャートである。 重複領域を示す説明図である。 左右のカメラで画像特徴が類似する場合の輝度ヒストグラムを示す説明図である。 左右のカメラで画像特徴が類似しない場合の輝度ヒストグラムを示す説明図である。 その他の実施形態において故障判定処理を示すフローチャートである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された故障検出装置１は、例えば乗用車等の車両（自車両）に搭載されている。この故障検出装置１は、複数のカメラのうちの何れかが故障していることを検出する機能を備えている。

故障検出装置１は、図１に示すように、制御部１０と、左カメラ２１と、右カメラ２２と、照度センサ２３と、画像処理部２６とを備えている。左カメラ２１および右カメラ２２は、自車両の進行方向を撮像範囲とし、予め設定された距離だけ離して配置された周知のステレオカメラとして構成されている。

また、左カメラ２１および右カメラ２２は、例えば車室内において自車両の進行方向の車室外を撮像できるよう配置されている。そして、左カメラ２１および右カメラ２２は、露出制御量やゲイン等の撮像時のカメラ設定値（撮像パラメータ）を制御部１０からの指示により設定できるよう構成されている。

また、左カメラ２１および右カメラ２２は、予め設定された撮像周期で撮像を繰り返し、それぞれ得られた撮像画像を制御部１０に送る。また、左カメラ２１および右カメラ２２は、制御部１０からテストパターンを出力するよう指令を受けると、撮像画像に替えて自身が予め保持するテストパターンを制御部１０に対して出力する。

照度センサ２３は、自車両の周囲の明るさを検出する周知の照度センサとして構成されている。照度センサ２３は、照度の検出結果を制御部１０に送る。
画像処理部２６は、左カメラ２１および右カメラ２２によって得られた撮像画像とカメラの故障に関する情報を制御部１０から取得し、故障していないカメラによる撮像画像を画像処理する。画像処理部２６は、例えば、撮像画像から歩行者、他車両、標識等を抽出したり、抽出した物体までの距離を測定したりする処理を行う。

制御部１０は、ＣＰＵ１１とＲＯＭ，ＲＡＭ等のメモリ１２とを備えたコンピュータとして構成されている。ＣＰＵ１１はメモリ１２に格納されたプログラム（故障判定プログラムを含む）に基づいて、各種処理を実施する。なお、制御部１０には、ワイパの作動状態を示す信号が入力される。

［本実施形態の処理］
このように構成された故障検出装置１において、制御部１０は、図２に示す故障判定処理を実施する。故障判定処理は、左カメラ２１および右カメラ２２が故障しているか否かを判定する処理である。故障判定処理は、例えば自車両の電源が投入されると開始される処理であり、その後、一定周期毎に繰り返し実施される処理である。

この処理では、まず、判定回数を示す変数ｎを１に設定する（Ｓ１１０）。変数ｎは判定回数がカメラの故障を特定するために必要な回数として予め設定された回数Ｎに達したか否かを判定するために用いられる。

続いて、左カメラ２１および右カメラ２２に対して同じ撮像パラメータを設定する指示を送信する（Ｓ１２０）。この際の撮像パラメータには、例えば、照度センサ２３による検出結果に対応する値が設定される。

続いて、ワイパが作動しているか否かを判定する（Ｓ１３５）。この処理は、ワイパの作動状態を示す信号が入力されているか否かによって判定すればよい。なお、ワイパが作動していたとしても、ワイパが左カメラ２１および右カメラ２２の撮像領域外に位置している場合には、ワイパが作動していないものとして取り扱ってもよい。

ワイパが作動していれば（Ｓ１３５：ＹＥＳ）、後述するＳ２１０の処理に移行する。また、ワイパが作動していなければ（Ｓ１３５：ＮＯ）、重複領域を抽出する（Ｓ１４０）。

ここで、重複領域については、図３に示すように、左カメラ２１および右カメラ２２によるそれぞれの撮像画像のうち、撮像領域が重なるエリアを示す。重複領域においては、同様の対象を撮像しているため、画像特徴が類似する傾向がある。

そこで、続く処理では、それぞれの画像の重複領域において、画像特徴を抽出する（Ｓ１５０）。画像特徴としては、例えば、重複領域を構成する各画素について、輝度値を解析し、輝度値毎に分類することになって図４および図５に示すようなヒストグラムを得る。

なお、図４および図５に示すヒストグラムの横軸においては、左端が輝度値０であり、右端に近づくにつれて輝度値が高くなる。また、ヒストグラムの縦軸は、同じ輝度値に分類された画素数を示す。

続いて、画像特徴を比較する（Ｓ１６０）。この処理では、左カメラ２１の重複領域における画像特徴と右カメラ２２の重複領域における画像特徴とが類似しているか否かを判定する。図４に示す例では、左カメラ２１の重複領域における画像特徴を示すヒストグラム［Ａ］の形状と、右カメラ２２の重複領域における画像特徴を示すヒストグラム［Ｂ］の形状とが類似している。

一方、図５に示す例では、左カメラ２１の重複領域における画像特徴を示すヒストグラム［Ｃ］の形状と、右カメラ２２の重複領域における画像特徴を示すヒストグラム［Ｄ］の形状とが全く異なる形状となっており非類似である。このようにヒストグラムが類似しているか否かを、例えば、ヒストグラムの近似曲線を示す関数を求め、これらの近似曲線の関数における各項の係数の差が許容範囲内であるか否かによって判定する。

続いて、テストパターンチェックを実施する（Ｓ１７０）。この処理では、左カメラ２１および右カメラ２２にテストパターンを出力する指令を与え、それぞれテストパターンを得る。そして、このテストパターンが正常なものであるか否かを判定する。

テストパターンが正常であるか否かについては、テストパターンの平均輝度値やテストパターンに所定の形状のものが含まれているか否か等によって判定することができる。カメラ２１，２２は、正常な状態であれば常に同様のテストパターンが出力されるため、このテストパターンに異常があればカメラに異常があると判定することができる。

続いて、画像特徴の比較結果、およびテストパターンの異常の有無の判定結果をメモリ１２に記録させる（Ｓ１８０）。そして、変数ｎと故障を特定するための回数Ｎとを比較する（Ｓ２１０）。

変数ｎが回数Ｎ未満であれば（Ｓ２１０：ＮＯ）、変数ｎをインクリメントし（Ｓ２２０）、Ｓ１２０の処理に戻る。また、変数ｎが回数Ｎ以上であれば（Ｓ２１０：ＹＥＳ）、故障の有無、および故障しているカメラを特定する（Ｓ２３０）。

故障の有無については、例えば、画像特徴が非類似であると判定された回数が基準値（例えば８０％）以上であること等によって、何れかのカメラに異常があることを特定できる。また、故障しているカメラについては、テストパターンの異常検出回数が最も多いカメラが異常であると特定することができる。なお、複数のカメラにおいてテストパターンの異常検出回数が基準値（例えば８０％）以上である場合、複数のカメラが異常であると特定してもよい。

続いて、故障していると特定されたカメラがあるか否かを判定する（Ｓ２４０）。故障していると特定されたカメラがあれば（Ｓ２４０：ＹＥＳ）、フェイルセーフ設定を行う（Ｓ２５０）。

この処理では、例えば、故障しているカメラによる撮像画像を利用しないような指示を出力する。本実施形態では、この指示の送信対象は画像処理部２６となる。このような処理が終了すると、故障判定処理を終了する。

ところで、Ｓ２４０の処理にて、故障していると特定されたカメラがなければ（Ｓ２４０：ＮＯ）、通常作動設定を行う（Ｓ２６０）。通常作動設定は、特定のカメラによる撮像画像を利用しないようにする指示を出力することなく、全てのカメラによる撮像画像を利用した処理を実施させることを示す。このような処理が終了すると、故障判定処理を終了する。

［本実施形態による効果］
以上のように詳述した故障検出装置１において制御部１０は、それぞれ独立して露出制御可能な複数の撮像装置にて、重複した撮像領域を表す重複領域を有するように撮像された撮像画像をそれぞれ取得する。そして、制御部１０は、取得した複数の撮像画像において重複領域をそれぞれ抽出し、抽出した複数の重複領域においてそれぞれ画像特徴（輝度や色彩の分布（ヒストグラム）、この領域内において認識された物体の種別等）を抽出する。また、制御部１０は、複数の重複領域における画像特徴を比較し、これらの画像特徴が類似するか否かを判定し、これらの画像特徴が類似していない場合に撮像装置が故障していると判定する。

すなわち、故障検出装置１においては、別々の撮像装置から得られた撮像画像であっても、重複領域においては同様の画像特徴を有する確率が高くなる特性を利用して、画像特徴が類似するか否かによって故障判定を行っている。このような故障検出装置１によれば、撮像装置の故障を良好に検出することができる。

また、上記故障検出装置１において制御部１０は、複数の重複領域を構成する各画素の輝度または色彩に応じたヒストグラムを重複領域毎に生成し、複数のヒストグラムを比較することによって画像特徴が類似するか否かを判定する。

このような故障検出装置１によれば、パターンマッチング等の画像処理手法と比較して、類似性判定の際の処理負荷を軽減することができる。
また、上記故障検出装置１において制御部１０は、複数の撮像装置は、外部からテスト出力信号を受けると、撮像画像に替えて予め準備されたテスト画像を出力するよう構成されており、画像特徴が類似していない場合に、テスト出力信号を複数の撮像装置のそれぞれに送り、複数の撮像装置からそれぞれ得られたテスト画像が正常であるか否かを判定し、正常でないテスト画像を出力した撮像装置が故障していると判定する。

このような故障検出装置１によれば、照度を利用することなく、故障している撮像装置を特定することができる。
また、上記故障検出装置１において制御部１０は、ワイパの作動状態を取得し、ワイパが撮像画像に含まれないときの撮像画像から重複領域を抽出する。

このような故障検出装置１によれば、ワイパが撮像画像に含まれることによって画像特徴が変化することを抑制することができる。
また、上記故障検出装置１において制御部１０は、繰り返し複数の撮像画像を取得し、繰り返し取得された複数の撮像画像に対して、重複領域をそれぞれ抽出する作動、画像特徴を抽出する作動、画像特徴が類似するか否かを判定する作動、をそれぞれ実施する。そして、制御部１０は、繰り返し取得された複数の撮像画像についての画像特徴が複数回類似していない場合に撮像装置が故障していると判定する。

このような故障検出装置１によれば、１回の判定ではなく複数回判定を行い、画像特徴が複数回類似していない場合に撮像装置が故障していると判定するので、撮像装置が故障していないにも拘らず、一時的に画像特徴が類似していない状態になったときに誤判定されることを抑制することができる。

また、上記故障検出装置１において制御部１０は、撮像装置が故障していると判定された際に、撮像画像を用いたアプリケーションに対して予め設定されたフェイルセーフ処理を実施させる。

このような故障検出装置１によれば、撮像装置が故障していると判定された際に、撮像画像を用いた処理にフェイルセーフ処理を実施させるので、より安全側に制御することができる。

また、上記故障検出装置１において制御部１０は、フェイルセーフ処理として、故障している撮像装置を利用しない処理を実施させる。
このような故障検出装置１によれば、故障している撮像装置を利用しないようにするので、故障している撮像装置を利用してしまうことによる誤作動を抑制することができる。

また、上記故障検出装置１において制御部１０は、複数の撮像装置に対して同じ露出にて撮像するよう指示し、同じ露出にて撮像された複数の撮像画像を取得する。
このような故障検出装置１によれば、同露出で撮像させることができるので、画像特徴を得るための条件を同じ条件にすることができる。よって、故障判定の精度を向上させることができる。

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

上述した故障検出装置１の他、当該故障検出装置１を構成要素とするシステム、当該故障検出装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、故障検出方法など、種々の形態で本発明を実現することもできる。

例えば、上記故障検出装置１において制御部１０は、撮像装置の周囲の照度を取得し、画像特徴が類似していない場合に、複数の重複領域における実測輝度値と、予め準備された照度に応じた重複領域における基準輝度値と、をそれぞれ比較し、基準輝度値に対してよりかけ離れた実測輝度値に対応する撮像装置が故障していると判定してもよい。具体的には、Ｓ１７０の処理に替えて、図６に示すように、Ｓ３１０の処理を実施すればよい。

すなわち、周囲の明るさに応じて得られるはずの輝度値（例えば平均輝度値）または輝度値の範囲（基準輝度値（範囲を含む））を予め準備しておき、照度センサ２３による検出結果に対応した撮像画像の輝度値（実測輝度値、例えば平均輝度値）が得られているか否かを判定する。そして、基準輝度値からより乖離しているものを故障していると判定する。

このような故障検出装置によれば、照度に応じて得られるはずの輝度値が実際に得られているかを撮像画像毎に比較するので、故障している撮像装置を特定することができる。
また、上記実施形態においてＳ１５０の処理では、画像特徴としてヒストグラムを利用したが、この構成に限られない。例えば、画像特徴としては、パターンマッチング等を用いた物体認識結果の類似性を利用してもよい。このようにする場合、Ｓ１６０の処理では、例えば、人物、他車両、ガードレール、標識、樹木等が認識できた数を比較すればよい。

また、上記実施形態においては、左カメラ２１および右カメラ２２の２つのカメラを利用したが、重複領域が存在していれば３つ以上のカメラを用いてもよい。この場合、全てのカメラに共通する重複領域が存在する必要はなく、それぞれのカメラが他の少なくとも１つカメラとの重複領域が存在していればよい。また、各カメラは、平行に配置されたステレオカメラに限られない。

［実施形態の構成と本発明の手段との対応関係］
上記実施形態において制御部１０が実行する処理のうちのＳ１２０の処理は本発明でいう露光指示手段に相当し、上記実施形態におけるＳ１３０の処理は本発明でいう撮像画像取得手段に相当する。また、上記実施形態におけるＳ１３５の処理は本発明でいうワイパ状態取得手段に相当し、上記実施形態におけるＳ１４０の処理は本発明でいう重複領域抽出手段に相当する。

さらに、上記実施形態におけるＳ１５０の処理は本発明でいう画像特徴抽出手段に相当し、上記実施形態におけるＳ１６０の処理は本発明でいう類似判定手段に相当する。また、上記実施形態におけるＳ２３０の処理は本発明でいう故障判定手段に相当し、上記実施形態におけるＳ２４０、Ｓ２５０の処理は本発明でいうフェイルセーフ手段に相当する。

さらに、上記実施形態におけるＳ３１０の処理は本発明でいう照度取得手段に相当する。

１…故障検出装置、１０…制御部、１１…ＣＰＵ、１２…メモリ、２１…左カメラ、２２…右カメラ、２３…照度センサ、２６…画像処理部。

Claims (9)

1. 撮像装置（２１、２２）の故障を検出する故障検出装置（１）であって、
   それぞれ独立して露出制御可能な複数の撮像装置にて、重複した撮像領域を表す重複領域を有するように撮像された撮像画像をそれぞれ取得する撮像画像取得手段（Ｓ１３０）と、
   取得した複数の撮像画像において前記重複領域をそれぞれ抽出する重複領域抽出手段（Ｓ１４０）と、
   抽出した複数の重複領域においてそれぞれ物体認識結果を画像特徴として抽出する画像特徴抽出手段（Ｓ１５０）と、
   前記複数の重複領域における画像特徴を比較し、これらの画像特徴が類似するか否かを判定する類似判定手段（Ｓ１６０）と、
   これらの画像特徴が類似していない場合に撮像装置が故障していると判定する故障判定手段（Ｓ２３０）と、
   を備えたことを特徴とする故障検出装置。
2. 請求項１に記載の故障検出装置において、
   前記複数の撮像装置は、外部からテスト出力信号を受けると、撮像画像に替えて予め準備されたテスト画像を出力するよう構成されており、
   前記故障判定手段は、前記画像特徴が類似していない場合に、前記テスト出力信号を前記複数の撮像装置のそれぞれに送り、複数の撮像装置からそれぞれ得られたテスト画像が正常であるか否かを判定し、正常でないテスト画像を出力した撮像装置が故障していると判定すること
   を特徴とする故障検出装置。
3. 請求項１に記載の故障検出装置において、
   前記撮像装置の周囲の照度を取得する照度取得手段（Ｓ３１０）、
   を備え、
   前記故障判定手段は、前記画像特徴が類似していない場合に、前記複数の重複領域における実測輝度値と、予め準備された前記照度に応じた重複領域における基準輝度値と、をそれぞれ比較し、前記基準輝度値に対してよりかけ離れた実測輝度値に対応する撮像装置が故障していると判定すること
   を特徴とする故障検出装置。
4. 請求項１〜請求項３の何れか１項に記載の故障検出装置において、
   当該故障検出装置は車両に搭載されており、
   ワイパの作動状態を取得するワイパ状態取得手段（Ｓ１３５）、
   を備え、
   前記重複領域抽出手段は、ワイパが撮像画像に含まれないときの撮像画像から前記重複領域を抽出すること
   を特徴とする故障検出装置。
5. 請求項１〜請求項３の何れか１項に記載の故障検出装置において、
   前記撮像画像取得手段は、繰り返し複数の撮像画像を取得し、
   前記重複領域抽出手段、前記画像特徴抽出手段、および前記類似判定手段は、繰り返し取得された複数の撮像画像に対して、前記重複領域をそれぞれ抽出する作動、前記画像特徴を抽出する作動、前記画像特徴が類似するか否かを判定する作動、をそれぞれ実施し、
   前記故障判定手段は、繰り返し取得された複数の撮像画像についての画像特徴が複数回類似していない場合に撮像装置が故障していると判定すること
   を特徴とする故障検出装置。
6. 請求項１〜請求項５の何れか１項に記載の故障検出装置において、
   前記撮像装置が故障していると判定された際に、撮像画像を用いたアプリケーションに対して予め設定されたフェイルセーフ処理を実施させるフェイルセーフ手段（Ｓ２４０、Ｓ２５０）、を備えたこと
   を特徴とする故障検出装置。
7. 請求項６に記載の故障検出装置において、
   前記フェイルセーフ手段は、前記フェイルセーフ処理として、故障している撮像装置を利用しない処理を実施させること
   を特徴とする故障検出装置。
8. 請求項１〜請求項７の何れか１項に記載の故障検出装置において、
   前記複数の撮像装置に対して同じ露出にて撮像するよう指示する露光指示手段（Ｓ１２０）、
   を備え、
   前記撮像画像取得手段は、同じ露出にて撮像された複数の撮像画像を取得すること
   を特徴とする故障検出装置。
9. コンピュータを請求項１〜請求項８の何れか１項に記載の故障検出装置を構成する各手段として機能させるための故障検出プログラム。

Images