JP6364797B2 - 画像解析装置、および画像解析方法 - Google Patents

Description

本発明は、車両に取り付けられた車載カメラの取り付け位置または角度が異常であることを検出する技術に関する。

近年の車両の中には、車載カメラを用いて車両の周辺を監視できるようにしたものが存在する。例えば、車両の前方に搭載した車載カメラを用いて車両の前方の画像を撮影し、撮影した画像を解析することによって車線位置を検出したり、障害物や歩行者などを検出したりする技術が知られている。また、車両の後方に車載カメラを搭載しておき、車両の後進中には車両後方の画像をモニター画面に表示することで、運転者の運転操作を補助する技術が広く普及している。更には、車両の前後左右に車載カメラを搭載しておき、それらの車載カメラで撮影した画像を合成することで、あたかも車両の周囲を上空から見たような画像を表示する技術も提案されている（特許文献１）。

これら何れの技術においても、車載カメラは予め設定された監視領域の画像を撮影することが前提となっており、従って、車載カメラは適切な位置に適切な角度で取り付けられている必要がある。例えば、車両の前方あるいは後方を監視するものであれば、車載カメラは車両の進行方向に対して、左右および上下の何れの方向にも所定の角度で取り付けられている必要がある。また、車両の前後左右に搭載した車載カメラの画像を用いて車両の全周の画像を表示する場合には、前後左右に搭載されたそれぞれの車載カメラが、それぞれに設定された角度で取り付けられている必要がある。

特開２０１２−１７５３１４号公報

しかし、車載カメラの取り付け位置または角度（以下、単に「取り付け位置」）は、車両の走行中の振動により、あるいは停車中または走行中に何らかの外力を受けるなどの要因で、知らない間に変わってしまうことがあるという問題があった。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、車両に取り付けられた車載カメラの取り付け位置が異常であることを検出する技術の提供を目的とする。

上述した課題を解決するために、本発明の画像解析装置は、車両を基準として所定方向に設定された所定の監視領域の画像を撮影する車載カメラに適用されて、該車載カメラの画像を解析する装置であり、車載カメラが監視領域を撮影した場合に得られる監視領域画像の特徴量を記憶している。そして、車載カメラによる画像を取得して、該画像の特徴量を抽出し、該特徴量と監視領域画像の特徴量とを比較することによって、車載カメラの取り付け位置の異常の有無を判断し、判断結果を出力する。
この時、車両の走行中の監視領域画像において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合を、監視領域画像の特徴量として記憶しておく。そして、車両の走行中に車載カメラで複数の画像を撮影して、それらの画像間で輝度値の変化量が所定量以上の領域と所定量未満の領域との割合を特徴量として抽出し、抽出した特徴量と、記憶しておいた特徴量を比較することによって、車載カメラの取り付け位置の異常の有無を判断する。
あるいは、ワイパーが動作していることを検出して、ワイパーが動作している場合は、車載カメラの取り付け位置の異常の有無を判断しないこととする。
若しくは、前照灯が点灯していることを検出して、前照灯が点灯している場合は、車載カメラの取り付け位置の異常の有無を判断しないこととする。

車載カメラが監視領域を撮影できるように正常に取り付けられていれば、所定の特徴量を有する画像が撮影されることが推定される。本発明は、このような車載カメラが正常に取り付けられている場合の特徴量を予め記憶しておき、この特徴量と、車載カメラによって実際に撮影された画像の特徴量とを比較することによって、車載カメラの取り付け位置の異常の有無を判断する。従って、車載カメラの取り付け位置の異常の有無を、人の目視に頼らずとも高い精度で判断することができる。

画像解析装置１０の構成を示す説明図である。 制御装置１２によって実行される画像解析処理を示すフローチャートである。 制御装置１２によって実行される前方カメラ用処理を示すフローチャートである。 前方カメラ画像を例示する説明図である。 前方カメラ画像の輝度値の変化を概念的に示す説明図である。 前方カメラ１１ａの取り付け位置が正常である場合の前方カメラ画像と、異常である場合の前方カメラ画像とを例示する説明図である。 異常警告画像を例示する説明図である。 変形例１における処理を説明するための説明図である。 変形例２における閾値割合αおよび閾値回数βを示す説明図である。 変形例３における画像解析装置１０の構成を示す説明図である。 変形例４における前方カメラ用処理を示すフローチャートである。

以下では、上述した本願発明の内容を明確にするために画像解析装置の実施例について説明する。
Ａ．装置構成 ：
図１には、車両１に設けられた画像解析装置１０の構成が示されている。本実施例の画像解析装置１０は、車両１の前後左右に取り付けられた車載カメラ１１ａ〜１１ｄ（前方カメラ１１ａ、後方カメラ１１ｂ，左方カメラ１１ｃ，右方カメラ１１ｄ）によって撮影された画像を解析することで、各車載カメラ１１ａ〜１１ｄの取り付け位置の異常の有無を判断し、その結果を出力する装置である。詳しい説明は省略するが、各車載カメラ１１ａ〜１１ｄは車両の周辺を監視するためのカメラであり、画像解析装置１０とは別のシステムが各車載カメラ１１ａ〜１１ｄに撮影された画像に基づいて、車線の位置や、障害物、歩行者などを検出する。従って、各車載カメラ１１ａ〜１１ｄは、その画像を利用するシステムに応じた車両周辺の領域（本明細書では「監視領域」という）を撮影できるように、車両１の予め定められた位置に予め定められた角度で取り付けられている（撮影方向を調節されている）。

画像解析装置１０は、車載カメラ１１ａ〜１１ｄに撮影された画像を解析する処理を実行する制御装置１２、その解析結果を出力する表示部１３を備えている。これらのうち、制御装置１２は、ＣＰＵやメモリ、各種コントローラー等が搭載された基板を有しており、運転席前方のインストルメントパネルの奥側に設置されている。また、表示部１３としては、表示画面を運転席側に向けてインストルメントパネルに設置された液晶表示器や、フロントガラス（ウインドシールド）に表示内容を投影するヘッドアップディスプレイ等が設置されている。

制御装置１２内部をそれぞれの機能を有する機能ブロックに分類すると、制御装置１２は、車載カメラ１１ａ〜１１ｄに撮影された画像の特徴量（実際に撮影された画像の特徴量であることから、以下では「実際特徴量」という）を抽出する特徴量抽出部１４、車載カメラ１１ａ〜１１ｄが「監視領域」を撮影した場合に得られる画像の特徴量、すなわち、車載カメラ１１ａ〜１１ｄの取り付け位置が正常である場合に得られる画像の特徴量（理想である画像の特徴量であることから、以下では「理想特徴量」という）を予め記憶しておく特徴量記憶部１５、「実際特徴量」と「理想特徴量」とを比較することによって、車載カメラ１１ａ〜１１ｄの取り付け位置の異常の有無を判断する異常判断部１６、車両１に設けられた車速センサーに基づいて車両１が走行中であるか否かを判断する走行判断部１７を備えている。

尚、特徴量抽出部１４が本発明における「抽出手段」に対応し、特徴量記憶部１５が本発明における「記憶手段」に対応し、異常判断部１６および表示部１３が本発明における「出力手段」に対応し、走行判断部１７が本発明における「走行判断手段」に対応している。また、特徴量抽出部１４が抽出する「実際特徴量」が本発明における「車載カメラによる画像の特徴量」に対応し、特徴量記憶部１５が記憶する「理想特徴量」が本発明における「監視領域画像の特徴量」に対応している。

以下では、上述したような画像解析装置１０において行われる「画像解析処理」について説明する。画像解析処理では、車載カメラ１１ａ〜１１ｄによって撮影された画像を解析することで、各車載カメラ１１ａ〜１１ｄの取り付け位置の異常の有無を判断し、その結果を表示部１３に出力する処理が行われる。

Ｂ．画像解析処理 ：
図２には、本実施例の画像解析装置１０において行われる画像解析処理のフローチャートが示されている。尚、この画像解析処理は、実際には、制御装置１２内部のＣＰＵがＲＯＭに記憶されたプログラムを実行することによって行われるが、以下では、制御装置１２または上述した機能ブロック１４〜１７を実行主体として説明する。また、画像解析処理は、車両１のエンジン始動時や所定時間毎（例えば１０秒毎に）行われる。

図２に示すように、制御装置１２は画像解析処理として、前方カメラ１１ａによって撮影された画像（前方カメラ画像）を解析する前方カメラ用処理（Ｓ１００）、後方カメラ１１ｂによって撮影された画像（後方カメラ画像）を解析する後方カメラ用処理（Ｓ１０２）、左方カメラ１１ｃによって撮影された画像（左方カメラ画像）を解析する左方カメラ用処理（Ｓ１０４）、右方カメラ１１ｄによって撮影された画像（右方カメラ画像）を解析する右方カメラ用処理（Ｓ１０６）をそれぞれ実行する。これらのＳ１００〜Ｓ１０６の処理は、解析する画像を何れの車載カメラの画像とするかが異なるだけであるので、以下では、Ｓ１００の前方カメラ用処理を例にとって説明する。
図３には、前方カメラ用処理のフローチャートが示されている。本実施例の前方カメラ用処理では、以下に説明するＳ２００〜Ｓ２１８の処理を実行することによって、数秒前（本実施例では３秒前）から現在に至るまでの「監視期間」に撮影された前方カメラ画像に基づいて、前方カメラ１１ａの取り付け位置の異常の有無を判断する。
前方カメラ用処理を開始すると、制御装置１２の走行判断部１７は、車両１が走行中であるか否かを判断する（Ｓ２００）。この判断処理は、車速センサーに基づいて検出される車両１の車速が０ｋｍ／ｈであるか否かを判断することによって行われる。この結果、車両１が走行中でない場合は（Ｓ２００：ｎｏ）、そのまま図３に示す前方カメラ用処理を終了して（すなわち、前方カメラ１１ａによって撮影された画像は解析せずに）、図２に示す画像解析処理に復帰する。

これに対して、車両１が走行中であると判断された場合は（Ｓ２００：ｙｅｓ）、制御装置１２は、前方カメラ１１ａに向けて撮影指示信号を送信することによって前方カメラ１１ａに画像を撮影させると共に、該画像（前方カメラ画像）を取得する（Ｓ２０２）。そして、制御装置１２の特徴量抽出部１４は、取得した前方カメラ画像から各画素の輝度値を算出する（Ｓ２０４）。

図４には、前方カメラ１１ａによって撮影された画像（前方カメラ画像）の一例が示されている。図４に示すように、本実施例の前方カメラ１１ａは、車両１のバンパーの一部が前方カメラ画像の下部の領域に写り、その他の領域には車両１の前方の状況（道路状況など）が写るように（車両１の前方の所定領域が監視領域となるように）、取り付けられている。尚、図４に例示する前方カメラ画像では、歪曲収差によってバンパーは歪んだ状態となっている。

Ｓ２０４の処理では、このような前方カメラ画像の各画素の輝度値を算出する。そして、輝度値を算出したら、この輝度値と前回撮影した前方カメラ画像の輝度値とをそれぞれの画素毎に比較する。ここで、本実施例の画像解析装置１０では、図３に示す前方カメラ用処理の実行中（監視期間中）は、上述したＳ２００〜Ｓ２０４の処理を繰り返し実行している。従って、Ｓ２０６の処理では、それぞれの画素について、前回撮影した前方カメラ画像（前回のフレーム）の輝度値を読み出して、今回撮影した前方カメラ画像（今回のフレーム）の輝度値と比較する。もちろん、前方カメラ用処理を開始してから最初に前方カメラ画像を取得した場合は、前回撮影した前方カメラ画像は取得されていないので、Ｓ２０６の処理を省略する。

このように「前回撮影した前方カメラ画像」と「今回撮影した前方カメラ画像」の輝度値をそれぞれの画素毎に比較することで（Ｓ２０８）、「前回撮影した前方カメラ画像」からの輝度値の変化量が閾値変化量ｔｈ（例えば±５％）以下である画素を抽出する。そして、この抽出した画素の割合、すなわち、前方カメラ画像全体の画素数に対する「輝度値の変化量が閾値変化量ｔｈ以下である画素数」の割合（無変化画素割合Ｒ）を算出する（Ｓ２０８）。つまり、Ｓ２０８の処理を実行することで、図５に示すように、「今回撮影した前方カメラ画像」の領域のうち「前回撮影した前方カメラ画像」から変化しなかった領域（あるいは変化量が少なかった領域、本明細書では便宜上、変化しなかった領域と表現する）の割合を算出することができる。

こうして「今回撮影した前方カメラ画像」の変化しなかった領域の割合（無変化画素割合Ｒ）を算出したら（Ｓ２０８）、制御装置１２の異常判断部１６は、この無変化画素割合Ｒが閾値割合α（例えば３０％）以上であるか否かを判断する（Ｓ２１０）。換言すると、Ｓ２１０の処理では、「今回撮影した前方カメラ画像」の輝度値の変化量（以下「前方カメラ画像の輝度値の変化量」という）が所定量（第１所定量）より小さいか否かが判断される。

Ｓ２１０の判断処理の結果、「今回撮影した前方カメラ画像」の変化しなかった領域の割合が閾値割合α以上であると判断された場合、すなわち、前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された場合は（Ｓ２１０：ｙｅｓ）、小変化回数カウンタの値に「１」を加算する（Ｓ２１２）。ここで、小変化回数カウンタとは、監視期間において前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数（監視期間における輝度値の変化量が小さいフレーム数）を計数するためのカウンタである。従って、Ｓ２１２の処理では、前方カメラの輝度値の変化量が第１所定量より小さいと判断されたことを受けて、この回数を加算すべく、小変化回数カウンタの値に「１」を加算する。尚、前方カメラの輝度値の変化量が第１所定量より小さいと判断されなかった場合は（Ｓ２１０：ｎｏ）、Ｓ２１２の処理は省略する。

続いて、監視期間が終了したか否かを判断する（Ｓ２１４）。ここで、図３に示す前方カメラ用処理は、前述したように、監視期間に撮影された前方カメラ画像に基づいて、前方カメラ１１ａの取り付け位置の異常の有無を判断する処理であるので、監視期間が終了するまでは（Ｓ２１４：ｎｏ）、上述したＳ２００〜Ｓ２１２の処理を繰り返す。すなわち、監視期間が終了するまでは、前方カメラ画像を繰り返し撮影し（前方カメラ画像を複数回撮影し）、前方カメラ画像を撮影するたびに、該前方カメラ画像の輝度値の変化量が第１所定量より小さいか否かを判断し、該前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数（監視期間における輝度値の変化量が小さいフレーム数）を計数する。

そして、上述したＳ２００〜Ｓ２１２の処理を繰り返しているうちに監視期間が終了したら（Ｓ２１４：ｙｅｓ）、制御装置１２の異常判断部１６は、小変化回数カウンタの値、すなわち、監視期間において前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数（監視期間における輝度値の変化量が小さいフレーム数）が閾値回数β（例えば２５回）以上であったか否かを判断する（Ｓ２１６）。つまり、Ｓ２１６の判断処理では、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が所定量（第２所定量）より小さかったか否かが判断される。そして、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が第２所定量より小さかった場合は（Ｓ２１６：ｙｅｓ）、前方カメラ１１ａの取り付け位置（取り付け態様、取り付け角度）が異常であると判断する。このように判断するのは、次のような理由による。

図６には、前方カメラ１１ａの取り付け位置が正常である場合（監視領域を撮影した場合）の前方カメラ画像と、前方カメラ１１ａの取り付け位置が異常である場合（監視領域とズレた領域を撮影した場合）の前方カメラ画像が例示されている。前方カメラ１１ａが異常な取り付け位置となるのは、例えば、走行時の振動などが原因となって、前方カメラ１１ａが下向きに傾いた場合であると推定される。このような場合は、図６に示すように、前方カメラ１１ａが正常な取り付け位置にある場合と比較して、前方カメラ画像におけるバンパーが写る領域が増加すると共に車両１の前方の状況（道路状況など）が写る領域が減少する。当然ながら走行中であれば、前方カメラ画像において、車両１の前方の状況が写る領域は輝度値が変化するものの、バンパーの写る領域は車両１の周辺状況に変化があったとしてもバンパーが写ったままの状態であるので、輝度値がほとんど変化することはない。従って、前方カメラ１１ａの取り付け位置が異常な取り付け位置となることによってバンパーの写る領域（輝度値が大きく変化することのない領域）が増加すると、前方カメラ画像全体の輝度値の変化量が小さくなってしまう。

そこで、図３のＳ２１６の判断処理では、走行中であるにも拘わらず、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が第２所定量より小さいと判断された場合は（Ｓ２１６：ｙｅｓ）、前方カメラ１１ａの取り付け位置が異常であると判断して（前方カメラ画像においてバンパーの写る領域が大きいと判断して）、その旨を警告する画像（異常警告画像）を表示部１３に表示する（Ｓ２１８）。図７には、表示部１３に表示される異常警告画像が例示されている。異常警告画像としては、各車載カメラ１１ａ〜１１ｄの位置が示された自車両画像と、取り付け位置が異常である車載カメラを報知する異常カメラ報知画像とが表示される。
これに対して、Ｓ２１６の判断処理で、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が第２所定量以上であると判断された場合は（Ｓ２１６：ｎｏ）、前方カメラ１１ａの取り付け位置は正常であると判断されるので、Ｓ２１８の処理は省略する。
尚、「今回撮影した前方カメラ画像の輝度値の変化量（無変化画素割合Ｒ）」、および、「監視期間に亘っての前方カメラ画像の輝度値の変化量（監視期間において前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数）」が、前方カメラ画像から特徴量抽出部１４が抽出する「実際特徴量（車載カメラに撮影された複数の画像間の輝度値の変化量）」であり、第１所定量および第２所定量（閾値割合αおよび閾値回数β）が、特徴量記憶部１５に予め記憶されている「理想特徴量（監視領域画像の輝度値の変化量）」である。尚、この「理想特徴量（監視領域画像の輝度値の変化量）」は、工場出荷時や、車両販売店でのカメラ位置調整の際に記憶される。

こうして、Ｓ２００〜Ｓ２１８の処理を実行したら、図３に示す前方カメラ用処理を終了して、図２に示す画像解析装置に復帰する。そして、後方カメラ１１ｂ、左方カメラ１１ｃ、右方カメラ１１ｄについても、Ｓ２００〜Ｓ２１８と同様の処理を実行する（Ｓ１０２〜Ｓ１０６）。尚、当然ながら、上述の処理（監視期間に撮影された各カメラ画像に基づいて、各車載カメラ１１ａ〜１１ｄの取り付け位置の異常の有無を判断する処理）は、図２に示す画像解析処理が起動されるたびに実行される。

以上のように、前方カメラ１１ａが、監視領域を撮影できるように正常に取り付けられていれば、所定の理想特徴量を有する前方カメラ画像が撮影されることが推定される。つまり、本実施例の画像解析装置１０であれば、監視期間において「今回撮影した前方カメラ画像」の変化しなかった領域の割合が閾値割合α以上と判断された回数（今回撮影した前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数）が閾値回数βより小さいこと、換言すると、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が第２所定量以上であることが推定される。この点、本実施例の画像解析装置１０では、これらのような前方カメラ１１ａが正常に取り付けられている場合の理想特徴量（閾値割合α、閾値回数β、第１所定量、第２所定量）を予め記憶しておき、監視期間において「今回撮影した前方カメラ画像」の輝度値が変化しなかった領域の割合が閾値割合α以上と判断された回数（今回撮影した前方カメラ画像の輝度値の変化量が第１所定量より小さいと判断された回数）が閾値回数β以上であれば、換言すると、「監視期間に亘っての前方カメラ画像の輝度値の変化量」が第２所定量より小さければ、前方カメラ１１ａの取り付け位置が異常であると判断する。従って、前方カメラ１１ａの取り付け位置の異常の有無を、人の目視に頼らずとも高い精度で判断することができる。尚、後方カメラ１１ｂ、左方カメラ１１ｃ、右方カメラ１１ｄについても同様に上述の効果を奏することができる。

また、走行中であれば、車両１の周辺状況も変化し易い。従って、前方カメラ画像は、前方カメラ１１ａの取り付け位置が正常である場合と異常である場合とで、前方カメラ画像の輝度値の変化量の差が大きくなり易い。この点、本実施例の画像解析装置１０では、前方カメラ１１ａの取り付け位置が正常である場合と異常である場合とで輝度値の変化量の差が大きくなり易い前方カメラ画像（走行中の前方カメラ画像）を利用して前方カメラ１１ａの取り付け位置の異常の有無を判断するので、前方カメラ１１ａの取り付け位置の異常の有無を更に高い精度で判断することができる。

尚、上述した実施例では、監視期間において「今回撮影した前方カメラ画像」の輝度値が変化しなかった領域の割合が閾値割合α以上と判断された回数が閾値回数β以上であれば、前方カメラ１１ａの取り付け位置が異常であると判断した。これに対して、Ｓ２１０の処理で、「今回撮影した前方カメラ画像」の輝度値が変化しなかった領域の割合（車載カメラによって撮影された複数の画像間において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合）が閾値割合α（監視領域画像において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合）以上と判断されたら、この判断回数を計数することなく、即座に前方カメラ１１ａの取り付け位置が異常であると判断してもよい。このような構成とした場合も、上述したような効果を得ることができる。

Ｃ．変形例 ：
次に、本実施例の画像解析装置１０の変形例について説明する。
Ｃ−１．変形例１ ：
上述した実施例では、前方カメラ画像全体の領域の画素について輝度値を算出し（図３のＳ２０４）、それぞれの画素について「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較した（Ｓ２０６）。これに対して、変形例１では、前方カメラ画像のうち、前方カメラ１１ａの取り付け位置が正常である場合に輝度値が変化し易い領域（特定領域）の画素について、輝度値を算出し、「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較する。換言すると、前方カメラ１１ａの取り付け位置が正常であっても変化し難い領域については、輝度値を算出する処理や、「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較する処理を行わない。

図８（ａ）には、前方カメラ１１ａの取り付け位置が正常である場合（監視領域を撮影した場合）の前方カメラ画像において、車両１の前方の状況が写る領域が斜線ハッチングで示されている。この領域は当然ながら、車両１の前方の状況に対応して輝度値が変化し易い領域である。これに対して、斜線ハッチングが施されていない領域は、車両１の周辺状況が変化してもバンパーが写ったままの状態であるので、輝度値が変化し難い領域である。変形例１では、このように斜線ハッチングの施された輝度値の変化し易い領域について、輝度値を算出し、「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較する。
このような処理を行う場合は、前方カメラの取り付け位置が異常となると（下向きになると）、図８（ｂ）に示すように、斜線ハッチングを施された領域（「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較する領域）に、バンパーが写り込むこととなる。そして、斜線ハッチングを施された領域のうちバンパーが写り込んだ領域の輝度値はほとんど変化しなくなるので、斜線ハッチングを施された領域の輝度値の変化量が小さくなることとなる。このように斜線ハッチングを施された領域の輝度値の変化量が小さくなった場合に、前方カメラ１１ａの取り付け位置が異常であると判断する。

以上のように、変形例１では、前方カメラ画像全体のうち輝度値の変化し易い領域の画素について、輝度値を算出し、「今回撮影した前方カメラ画像」と「前回撮影した前方カメラ画像」とを比較するので、画像解析装置１０の処理負担を軽減することができる。また、前方カメラ画像全体のうち輝度値の変化し易い領域を、前方カメラ１１ａの取り付け位置が異常であるか否かの判断対象とするので、ノイズ（取り付け位置が正常か否かに拘わらず変化量の変わらない領域についての判断）を排除することができ、前方カメラ１１ａの取り付け位置の異常の有無を更に高い精度で判断することができる。

Ｃ−２．変形例２ ：
上述した実施例では、前方カメラ１１ａが正常に取り付けられている場合の理想特徴量（閾値割合α、閾値回数β、第１所定量、第２所定量）は車両１の速度に拘わらず一定のものとして実際特徴量（今回撮影した前方カメラ画像の輝度値の変化量、監視期間に亘っての前方カメラ画像の輝度値の変化量）と比較した。これに対して、変形例２では、車両１の速度に応じて理想特徴量を決定し、この理想特徴量と実際特徴量とを比較してもよい。
すなわち、前方カメラ１１ａの取り付け位置が同じであっても、車両１の速度が大きくなるほど車両１の周辺状況は大きく変化するので、前方カメラ画像のうち車両１の前方の状況が写る領域の輝度値も車両１の速度が大きくなるほど変化量が大きくなることが推定される。従って、理想特徴量（閾値割合α、閾値回数β、第１所定量、第２所定量）を車両１の速度に拘わらず一定とすると、車両１の速度が大きくなるほど実際特徴量が理想特徴量に合致し易くなり、前方カメラ１１ａの取り付け位置が正常と判断される可能性が高くなってしまう。

そこで、変形例２では、前方カメラ１１ａが正常に取り付けられていれば、車両１の速度が大きくなるほど前方カメラ画像の輝度値の変化量は大きくなることを考慮して、前方カメラ１１が異常であると判断する際の閾値（理想特徴量、すなわち、閾値割合α、閾値回数β、第１所定量、第２所定量）を車両１の速度が大きくなるほど厳格に設定する（閾値割合α、閾値回数βであれば小さく設定し、第１所定量、第２所定量であれば大きく設定する）。
例えば、図９（ａ）に示すように、閾値割合αの値は車両１の速度が大きくなるほど小さく設定する。また、図９（ｂ）に示すように、閾値回数βの値は監視期間における車両１の平均速度が大きくなるほど小さく設定する。
こうすると、車両１の速度による影響を抑制しつつ前方カメラ１１ａの取り付け位置の異常の有無を判断することができるので、更に高い精度で前方カメラ１１ａの取り付け位置の異常の有無を判断することができる。

Ｃ−３．変形例３ ：
第３変形例では、雨天時や、霧発生時、トンネル走行時には上述した画像解析処理を実行しない。すなわち、雨天時は、前方カメラ１１ａの取り付け位置が正常であっても、カメラ画像に水滴等が付着して前方カメラ画像の輝度値の変化量が小さくなり、前方カメラ１１ａの取り付け位置が異常であると判断される虞がある。同様に、霧発生時は車両１の前方が霧で覆われることによって前方カメラ画像の輝度値の変化量が小さくなり、前方カメラ１１ａの取り付け位置が異常であると判断される虞がある。加えて、トンネル走行時にはトンネル内が暗いために前方カメラ画像の輝度値の変化量が小さくなり、前方カメラ１１ａの取り付け位置が異常であると判断される虞がある。

そこで、変形例３では、図１０に太枠で示すように、制御装置１２内にワイパーが動作していることを検出するワイパー動作検出部２１と、前照灯が点灯していることを検出する前照灯点灯検出部２２を設ける。そして、図２を用いて前述した画像解析処理を行う前に、ワイパー動作検出部２１が、ワイパーが動作しているか否かを検出する。つまり、雨天時であれば通常はワイパーが動作しているので、ワイパーが動作しているか否かを検出することによって雨天時であるか否かを判断する。また、前照灯点灯検出部２２が、前照灯が点灯しているか否かを検出する。つまり、霧発生時やトンネル走行時であれば通常は前照灯が点灯しているので、前照灯が点灯しているか否かを検出することによって霧発生時またはトンネル走行時であるか否かを検出する。その結果、ワイパーが動作しておらず前照灯も点灯していなければ、すなわち、雨天時や、霧発生時、トンネル走行時でなければ、図２を用いて前述した画像解析処理を実行する。
この結果、変形例３では、雨天時や、霧発生時、トンネル走行時に、前方カメラ１１ａの取り付け位置が正常であるにも拘わらず、異常であると判断することを防止することができ、更に高い精度で前方カメラ１１ａの取り付け位置の異常の有無を判断することができる。
尚、ワイパー動作検出２１は、本発明における「ワイパー動作検出手段」に対応し、前照灯点灯検出部２２は、本発明における「前照灯点灯検出手段」に対応している。

Ｃ−４．変形例４ ：
変形例４では、前方カメラ１１ａの取り付け位置が正常である場合に必ず写る領域（例えば、図６の上段に示すバンパーの領域）を予め「理想特徴量」として特徴量記憶部１５に記憶しておく。そして、次のような前方カメラ用処理を行う。
図１１には、変形例４の前方カメラ用処理のフローチャートが示されている。前方カメラ用処理を開始すると、制御装置１２は、前方カメラ１１ａに向けて撮影指示信号を送信することによって前方カメラ１１ａに画像を撮影させると共に、該画像（前方カメラ画像）を取得する（Ｓ３００）。そして、制御装置１２の特徴量抽出部１４は、取得した前方カメラ画像からバンパーの領域を「実際特徴量」として算出する（Ｓ３０２）。この算出は、周知のエッジ検出処理等を利用して行われる。

実際特徴量として前方カメラ画像からバンパーの領域を算出したら（Ｓ３０２）、制御部１２の異常判断部１６は、このバンパーの領域と、特徴量記憶部１５に理想特徴量として予め記憶しておいたバンパーの領域とを比較する（Ｓ３０４）。そして、実際特徴量として算出したバンパーの領域が、理想特徴量として予め記憶しておいたバンパーの領域と一致するか否かを判断する（Ｓ３０６）。例えば、実際特徴量として算出したバンパーの領域の面積（画素数）が、理想特徴量として予め記憶しておいたバンパーの領域の面積（画素数）の±５％の範囲に収まるか否かを判断する。あるいは、実際特徴量として算出したバンパーの領域のエッジ部分（前方カメラ画像中の境界部分）が、理想特徴量として予め記憶しておいたバンパーの領域のエッジ部分から所定の距離以内（例えば１０ピクセル以内）に存在するか否かを判断する。

その結果、実際特徴量として算出したバンパーの領域が、理想特徴量として予め記憶しておいたバンパーの領域と一致していれば（Ｓ３０６：ｙｅｓ）、前方カメラ１１ａの取り付け位置は正常であると判断して、そのまま図１１に示す前方カメラ用処理を終了する。これに対して、実際特徴量として算出したバンパーの領域が、理想特徴量として予め記憶しておいたバンパーの領域と一致しなければ（Ｓ３０８：ｙｅｓ）、前方カメラ１１ａの取り付け位置が異常であると判断して、異常警告画像（図７参照）を表示部１３に表示する（Ｓ３１０）。尚、後方カメラ１１ｂ、左方カメラ１１ｃ、右方カメラ１１ｄについても、Ｓ３００〜Ｓ３１０と同様の処理を実行する。

以上のように、前方カメラ１１ａの取り付け位置が正常である場合に必ず写る領域（変形例４ではバンパーの写る領域）が存在する場合は、前方カメラ１１ａの取り付け位置が正常である場合はその領域は変化しないはずである。そこで、変形例４では、前方カメラ１１ａの取り付け位置が正常である場合に必ず写る領域（変形例４ではバンパーの写る領域）を予め「理想特徴量」として特徴量記憶部１５に記憶しておき、このバンパーの写る領域と、前方カメラ画像から算出したバンパーの写る領域とが一致しなければ、前方カメラ１１ａの取り付け位置が異常であると判断する。従って、車両１が走行中でない場合であっても、前方カメラ１１ａの取り付け位置の異常の有無を人の目視に頼らずに高い精度で判断することができる。尚、後方カメラ１１ｂ、左方カメラ１１ｃ、右方カメラ１１ｄについても同様に上述の効果を奏することができる。

以上、実施例および変形例の画像解析装置について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、上述した実施例および変形例では、「実際特徴量」や「理想特徴量」として画素の輝度値を採用したが、画素のＲＧＢ値やＹＵＶ値を採用してもよい。
また、上述した実施例では、前方カメラ１１ａの取り付け位置が正常である場合であっても、前方カメラ画像にバンパーが写ることとしたが、前方カメラ１１ａの取り付け位置が正常である場合は、前方カメラ画像にバンパーが写らないこととしてもよい。

また、上述した実施例では、前方カメラ１１ａの取り付け位置が異常である場合は、バンパーの写る領域が大きくなることによって輝度値の変化量が少なくなることを検出することで、前方カメラ１１ａの取り付け位置が異常であることを判断することとした。これに限らず、前方カメラ１１ａの取り付け位置が異常である場合は、アスファルト等の路面の写る領域が大きくなることによって輝度値の変化量が少なくなることを検出することで、前方カメラ１１ａの取り付け位置が異常であることを判断することとしてもよい。
また、上述した第４変形例では、前方カメラ１１ａの取り付け位置が正常である場合に必ず写る領域としてバンパーが写る領域を採用したが、ドアミラーやボンネット等の車両１の一部が写る領域を採用してもよい。

１…車両、 １０…画像解析装置、 １１ａ〜１１ｄ…車載カメラ、
１２…制御装置、 １３…表示部、 １４…特徴量抽出部、
１５…特徴量記憶部、 １６…異常判断部、 １７…走行判断部、
２１…ワイパー動作検出部、２２…前照灯点灯検出部

Claims (6)

1. 車両を基準として所定方向に設定された所定の監視領域の画像を撮影する車載カメラに適用されて、該車載カメラの画像を解析する画像解析装置であって、
   前記車載カメラ（１１ａ〜１１ｄ）が前記監視領域を撮影した場合に得られる監視領域画像の特徴量を記憶しておく記憶手段（１５）と、
   前記車載カメラによる画像を取得して、該画像の特徴量を抽出する抽出手段（１４）と、
   前記車載カメラによる画像の特徴量と前記監視領域画像の特徴量とを比較することによって、前記車載カメラの取り付け位置の異常の有無を判断し、判断結果を出力する出力手段（１６、１３）と、
   前記車両が走行中であるか否かを判断する走行判断手段（１７）と
   を備え、
   前記記憶手段は、前記車両の走行中の前記監視領域画像において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合を、前記監視領域画像の特徴量として記憶する手段であり、
   前記抽出手段は、前記車両の走行中に前記車載カメラによって複数回撮影された複数の画像を取得して、該複数の画像間において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合を前記車載カメラによる画像の特徴量として抽出する手段である画像解析装置。
2. 車両を基準として所定方向に設定された所定の監視領域の画像を撮影する車載カメラに適用されて、該車載カメラの画像を解析する画像解析装置であって、
   前記車載カメラ（１１ａ〜１１ｄ）が前記監視領域を撮影した場合に得られる監視領域画像の特徴量を記憶しておく記憶手段（１５）と、
   前記車載カメラによる画像を取得して、該画像の特徴量を抽出する抽出手段（１４）と、
   前記車載カメラによる画像の特徴量と前記監視領域画像の特徴量とを比較することによって、前記車載カメラの取り付け位置の異常の有無を判断し、判断結果を出力する出力手段（１６、１３）と、
   ワイパーが動作していることを検出するワイパー動作検出手段（２１）と
   を備え、
   前記出力手段は、前記ワイパーが動作している場合は、前記車載カメラの取り付け位置の異常の有無を判断しない手段である画像解析装置。
3. 車両を基準として所定方向に設定された所定の監視領域の画像を撮影する車載カメラに適用されて、該車載カメラの画像を解析する画像解析装置であって、
   前記車載カメラ（１１ａ〜１１ｄ）が前記監視領域を撮影した場合に得られる監視領域画像の特徴量を記憶しておく記憶手段（１５）と、
   前記車載カメラによる画像を取得して、該画像の特徴量を抽出する抽出手段（１４）と、
   前記車載カメラによる画像の特徴量と前記監視領域画像の特徴量とを比較することによって、前記車載カメラの取り付け位置の異常の有無を判断し、判断結果を出力する出力手段（１６、１３）と、
   前照灯が点灯していることを検出する前照灯点灯検出手段（２２）と
   を備え、
   前記出力手段は、前記前照灯が点灯している場合は、前記車載カメラの取り付け位置の異常の有無を判断しない手段である画像解析装置。
4. 請求項２または請求項３に記載の画像解析装置であって、
   前記車両が走行中であるか否かを判断する走行判断手段（１７）を備え、
   前記記憶手段は、前記車両の走行中の前記監視領域画像の輝度値の変化量を、前記監視領域画像の特徴量として記憶する手段であり、
   前記抽出手段は、前記車両の走行中に前記車載カメラによって複数回撮影された複数の画像を取得して、該複数の画像間の輝度値の変化量を前記車載カメラによる画像の特徴量として抽出する手段である画像解析装置。
5. 請求項４に記載の画像解析装置であって、
   前記記憶手段は、前記監視領域画像内に設定された所定の特定領域の前記輝度値の変化量を、前記監視領域画像の特徴量として記憶する手段であり、
   前記抽出手段は、前記車載カメラによって撮影された画像の前記特定領域の前記輝度値の変化量を前記車載カメラによる画像の特徴量として抽出する手段である画像解析装置。
6. 車両を基準として所定方向に設定された監視領域の画像を撮影する車載カメラに適用されて、該車載カメラの画像を解析する画像解析方法であって、
   前記車両の走行中に前記車載カメラによって複数回撮影された複数の画像を取得して、該複数の画像間において輝度値の変化量が所定量以上の領域と所定量未満の領域との割合を前記車載カメラによる画像の特徴量として抽出する工程（Ｓ２０２〜Ｓ２０８、Ｓ２１２）と、
   前記車載カメラによる画像の特徴量と、予め記憶手段に記憶しておいた、前記車載カメラが前記監視領域を撮影した場合に得られる監視領域画像の特徴量であって、前記車両の走行中の前記監視領域画像における輝度値の変化量が所定量以上の領域と所定量未満の領域との割合とを比較することによって、前記車載カメラの取り付け位置の異常の有無を判断し、判断結果を出力する工程（Ｓ２１０、Ｓ２１６、Ｓ２１８）と
   を備える画像解析方法。

Images